Google teste un assistant vidéo proactif

LLéna

Une équipe de recherche menée par Google présente StreamVibe, un assistant vidéo conçu pour observer une activité et proposer de l’aide lorsqu’elle semble nécessaire, selon The Decoder. Les chercheurs de Stanford, de l’Université d’Oxford et d’autres universités américaines ont travaillé sur cet outil, qui peut suivre des activités comme cuisiner ou monter un meuble, ainsi que des enregistrements de logiciels. Pour évaluer ces capacités, l’équipe a constitué un benchmark d’environ 4 100 exemples, issus de plus de 183 heures de vidéos de la vie quotidienne et d’enregistrements de logiciels. Le modèle StreamVibe-VL, présenté comme reposant sur Qwen3.5-9B d’Alibaba, décide chaque seconde s’il doit rester silencieux ou intervenir. Selon les chercheurs, il améliore de 10,7 % le moment et la qualité des réponses par rapport aux autres modèles évalués. Un système de mémoire est conçu pour améliorer de 12,3 % les interactions proactives, c’est-à-dire les interventions que l’assistant propose sans attendre une demande explicite. Mais les tests en vidéo continue révèlent une limite importante : les performances de tous les modèles évalués diminuent à mesure que les erreurs s’accumulent. Lorsque le système doit s’appuyer sur son propre historique, une mesure de la qualité des réponses baisse jusqu’à 61,5 %.