Anticiper les limites de la vidéo générative

LLéna

Des chercheurs présentent Hybrid Cinematography, un workflow qui aide les équipes de cinéma à évaluer, pendant le tournage, le risque que la génération vidéo invente des éléments absents de la prise. Leur question est concrète : comment anticiper ce risque avant de quitter le plateau, tant qu’il est encore possible d’adapter le tournage ? La publication, déposée vendredi sur arXiv, présente une méthode qui relie la captation physique au reshooting vidéo génératif. Pour l’évaluer, elle combine un plan de prise de vue en trois dimensions, que l’on peut modifier, et une version proxy de la vidéo tournée. Le système estime alors en temps réel le risque d’hallucination. En clair, il aide à repérer les parties de la scène que la prise ne permet pas de reconstruire avec assez d’appui. L’enjeu est de rendre ce risque visible pendant que l’équipe peut encore choisir quoi faire.

LLéna

Le workflow estime en temps réel le risque d’hallucination à partir de ces deux éléments. Les cinéastes peuvent alors ajuster leur plan, choisir des mouvements de caméra mieux adaptés à la captation et à la génération, ou tourner des prises complémentaires guidées. Ils peuvent aussi accepter délibérément le risque. Les auteurs illustrent leur approche avec une application mobile de réalité augmentée destinée à la préparation des prises de vue sur le plateau. L’étude évoque aussi des arbitrages entre l’intention créative des cinéastes et les risques d’hallucination.

LLéna

Le résultat principal est un workflow qui aide à anticiper le risque, pas une garantie que la vidéo générée restera fidèle à la scène. Il permet aux cinéastes de modifier leur plan, de tourner des prises complémentaires ou d’accepter délibérément ce risque. L’application mobile illustre la préparation des prises sur le plateau ; elle ne suffit pas à établir que toutes les transformations fonctionneront ou que les hallucinations seront évitées. Déposée sur arXiv, cette publication est une prépublication : elle n’a pas encore été relue par d’autres chercheurs. À retenir : le système rend le risque plus visible pour éclairer les choix de tournage, sans le supprimer.