Google DeepMind rassemble ses modèles vidéo dans TapNet

SSacha

D’après AlphaSignal, le dépôt TapNet de Google DeepMind rassemble sept systèmes de suivi de points dans les vidéos. Il réunit TAP-Net, TAPIR, BootsTAPIR, TAPNext, TAPNext++, RoboTAP et TRAJAN. Il rassemble leur code, des checkpoints et des outils d’évaluation, ainsi que des démonstrations. On peut imaginer une boîte à outils où plusieurs instruments servent à observer le mouvement, mais où chacun a ses particularités. Le dépôt rassemble donc les éléments, sans pour autant transformer les sept systèmes en un modèle unique. Il met à disposition des ressources qui donnent accès à cette famille de modèles. C’est un lieu commun où consulter les différents systèmes et leurs outils associés.

SSacha

On choisit un ou plusieurs points sur une image de la vidéo, et le modèle cherche leur position dans les autres images. Par exemple, on peut marquer un point sur une pince de robot, ou sur un morceau de tissu, puis observer son déplacement au fil de la séquence. Le résultat ressemble à une trajectoire dessinée image après image, avec une estimation de la position du point. Le système indique aussi si ce point est encore visible. C’est important lorsqu’un objet passe derrière un autre : le suivi peut signaler que le point disparaît, puis le retrouver lorsqu’il réapparaît. Alors, il ne s’agit pas simplement de reconnaître un objet entier, comme une voiture ou une personne, mais de suivre un endroit précis de sa surface. Cela donne une description plus fine du mouvement dans la vidéo.

SSacha

Le dépôt propose du code et des checkpoints, c’est-à-dire des modèles déjà entraînés, dans les environnements JAX et PyTorch. Il inclut également les outils d’évaluation TAP-Vid, 11 notebooks Colab et une démonstration de suivi par webcam. Les notebooks et les outils d’évaluation donnent des moyens concrets d’examiner ces modèles. Le suivi de points peut notamment concerner des usages en robotique et en analyse du mouvement. Une trajectoire de points peut, par exemple, aider à examiner comment une pince se déplace dans une scène, ou comment une surface se déforme. Il faut toutefois choisir le système en fonction de son besoin : les 7 modèles ne sont pas interchangeables, et la disponibilité de code commun ne signifie pas qu’ils ont tous les mêmes capacités. Le dépôt facilite l’accès, pas le choix technique à la place de l’utilisateur.

SSacha

L’article attribue à TAPNext++ un score de 67,0 % d’AJ sur le jeu de données DAVIS, avec des vidéos en résolution 512 par 512. Il indique aussi que le suivi reste stable sur une durée 40 fois plus longue. Ce sont des résultats rapportés par la source, et ils concernent un système précis ainsi qu’un cadre d’évaluation donné. Ils ne signifient donc pas que chaque modèle du dépôt atteint les mêmes performances, ni que le suivi sera aussi robuste dans toutes les vidéos du monde réel. Un autre exemple concerne TAPIR en mode causal, c’est-à-dire un traitement des images au fur et à mesure de leur arrivée. L’article indique environ 17 images par seconde sur un processeur graphique mobile de 2018. Cette démonstration suggère une possibilité de suivi en direct, mais elle ne suffit pas, à elle seule, à mesurer la rapidité sur tous les appareils ou dans tous les contextes.

SSacha

Bon, la première limite est que le dépôt rassemble des systèmes différents, avec des usages et des résultats qui ne se confondent pas. Les chiffres présentés pour TAPNext++ et TAPIR doivent être compris comme des exemples issus de l’article, pas comme une garantie universelle. Les performances peuvent aussi dépendre de la résolution demandée, de la vitesse attendue et de la durée pendant laquelle on veut suivre un point. Les ressources proposées donnent de quoi examiner ces questions : du code, des checkpoints, des outils d’évaluation, des notebooks et une démonstration webcam. L’article présente ces ressources comme un accès aux modèles et à leurs outils. Ce qu’il faut retenir, c’est que Google DeepMind rassemble 7 systèmes de suivi de points dans TapNet, avec du code, des checkpoints, des outils d’évaluation et des démonstrations. TapNet ne rend pas le mouvement automatiquement compréhensible, mais il fournit plusieurs moyens de le mesurer point par point.