Google DeepMind rassemble ses modèles de suivi vidéo

OOndine

Google DeepMind réunit dans le dépôt open source TapNet 7 systèmes de suivi de points dans les vidéos, selon AlphaSignal. Il rassemble TAP-Net, TAPIR, BootsTAPIR, TAPNext, TAPNext++, RoboTAP et TRAJAN, sept systèmes qui couvrent plusieurs générations de cette famille de modèles. Le dépôt met à disposition leur code et des points de contrôle, en JAX et en PyTorch, afin que les utilisateurs puissent accéder aux modèles et les faire fonctionner. Il comprend aussi des outils d’évaluation associés à TAP-Vid, un jeu de données consacré à l’évaluation du suivi de points dans les vidéos. Pour faciliter la prise en main, Google DeepMind propose 11 notebooks Colab et une démonstration qui montre le suivi de points à partir d’une webcam. AlphaSignal indique que TAPNext++ obtient 67,0 % d’AJ sur le jeu de données DAVIS, en résolution 512 par 512, et assure un suivi stable 40 fois plus long. L’article indique enfin que TAPIR causal atteint environ 17 images par seconde sur un processeur graphique mobile de 2018, un exemple de suivi présenté à une cadence en temps réel.