VideoZeroBench révèle les limites de l’ancrage visuel des modèles vidéo

EElias

Alors, VideoZeroBench montre un écart entre répondre à une question sur une vidéo et justifier la réponse par des repères visuels précis. D’après AlphaSignal, le test évalue 17 systèmes, propriétaires, ouverts ou spécialisés, sur 500 questions vérifiées portant sur 138 vidéos longues. Les questions sont accompagnées d’annotations qui indiquent les moments et les zones de l’image pertinents. Gemini-3-Pro obtient le meilleur résultat en questions-réponses standard, avec 17 % de précision. Mais quand il faut aussi donner les intervalles temporels et les zones correspondantes, aucun système ne dépasse 1 %. Le benchmark mesure ainsi non seulement la réponse, mais aussi sa localisation dans la vidéo.

EElias

Le protocole comporte cinq niveaux d’évaluation, du plus simple au plus exigeant. Il commence par évaluer la réponse, puis ajoute des exigences d’ancrage dans le temps et dans l’image, jusqu’à demander les deux à la fois. Autrement dit, le système doit non seulement répondre, mais aussi indiquer à quel moment et dans quelle zone de la vidéo se trouvent les éléments qui appuient sa réponse. Une réponse seule ne permet pas de savoir si le modèle s’est appuyé sur les preuves visuelles pertinentes ou s’il a répondu sans les localiser. C’est ce que l’ancrage temporel et spatial cherche à mesurer.

EElias

Le benchmark met en évidence une différence importante entre les résultats aux tests qui notent seulement la réponse et ceux qui demandent aussi des preuves localisées dans la vidéo. L’article d’AlphaSignal rappelle que certains modèles vidéo ont dépassé 80 % sur d’autres évaluations, mais que ces protocoles notaient la réponse finale sans exiger des repères temporels ou des zones précises. VideoZeroBench ne permet pas de comparer directement ces scores, car les questions, les vidéos et les exigences diffèrent. Son résultat montre plutôt que réussir une question ne suffit pas à établir que le système sait retrouver et désigner les éléments visuels qui la justifient. Bon, répondre et montrer où se trouve la preuve sont deux critères distincts.

EElias

Un résultat donne une piste : quand des personnes agrandissent à la main les régions pertinentes de la vidéo, Gemini dépasse 40 %. Cette amélioration suggère que retrouver les éléments visuels utiles pourrait constituer un goulot d’étranglement. Le test porte sur des vidéos longues et comporte des annotations spatiales, notamment des zones à localiser dans l’image. Il est donc possible que retrouver un détail dans une vidéo constitue une partie importante du défi, sans que ce résultat permette à lui seul d’expliquer toutes les erreurs. L’écart observé indique que l’accès aux détails visuels mérite d’être étudié, mais ne prouve pas à lui seul la cause des faibles scores.

EElias

D’abord, VideoZeroBench mesure une tâche bien définie, pas toutes les capacités possibles d’un modèle vidéo. Son jeu d’évaluation rassemble 500 questions vérifiées sur 138 vidéos longues, couvrant notamment le sport, les jeux vidéo, la conduite, les tutoriels, la musique, les vlogs et l’animation. Les questions demandent des réponses exactes, puis des preuves temporelles et spatiales ; ce choix ne permet pas de comparer directement les scores à ceux de tests construits autrement. Le résultat de VideoChat-R1.5 illustre aussi la difficulté : ce système obtient zéro aux niveaux les plus stricts d’ancrage. Cela ne signifie pas qu’il échoue à toute tâche vidéo, mais qu’il n’a pas obtenu de réussite dans ces conditions précises. Il faut donc lire le moins de 1 % comme un signal fort sur la justification visuelle, pas comme une mesure universelle de toute intelligence vidéo.

EElias

La leçon, c’est qu’une réponse correcte ne suffit pas à établir qu’un modèle a vraiment retrouvé la preuve dans la vidéo. Ici, même le meilleur score standard reste à 17 %, et aucun système ne dépasse 1 % lorsque la réponse doit aussi être localisée dans le temps et dans l’image. L’amélioration de Gemini au-delà de 40 % après agrandissement manuel montre qu’aider le modèle à accéder au bon détail peut changer fortement le résultat. Le défi n’est pas seulement de comprendre une scène, mais de retrouver et de montrer ce qui permet de l’affirmer. Pour évaluer des assistants vidéo, il devient donc essentiel de mesurer non seulement ce qu’ils répondent, mais aussi où ils l’ont vu.