Les limites des modèles vidéo

OOndine

VideoZeroBench évalue la capacité des modèles vidéo à justifier leurs réponses en indiquant les moments et les zones de l’image qui les étayent, selon AlphaSignal. Le benchmark repose sur 500 questions vérifiées, portant sur 138 vidéos longues. Celles-ci sont annotées avec des repères temporels et spatiaux, pour comparer les réponses des modèles à des éléments précis des vidéos. Au total, 17 systèmes propriétaires, open source et spécialisés sont évalués. Le protocole comporte cinq niveaux, de la réponse seule à l’exigence de fournir des repères temporels et des zones précises de l’image. En questions-réponses standard, Gemini-3-Pro obtient le meilleur résultat, avec 17 % de précision. Mais quand une réponse doit aussi être étayée par les intervalles de temps et les régions visuelles concernés, aucun modèle ne dépasse 1 %. VideoChat-R1.5 obtient même zéro aux niveaux où cet ancrage temporel et spatial est le plus strict. L’écart entre ces résultats montre que répondre à une question et retrouver les preuves précises dans une vidéo sont deux tâches distinctes dans ce test. Un autre résultat précise où se situe la difficulté : quand les régions pertinentes sont agrandies manuellement, Gemini dépasse 40 %. Cette progression suggère que la récupération des éléments visuels utiles constitue un goulot d’étranglement. Le benchmark met ainsi en évidence la difficulté, pour les systèmes évalués, de relier une réponse à un moment et à une zone précis de la vidéo.