WorldSonus veut ajouter du son aux mondes générés

MMarc

WorldSonus est un projet de recherche qui cherche à ajouter des sons placés dans l’espace aux environnements vidéo créés par des modèles de monde, dans une prépublication déposée sur arXiv. La question est simple : comment faire entendre un monde généré, sans attendre que la vidéo soit terminée ? Ces modèles produisent des scènes visuelles, mais leurs environnements restent souvent silencieux. Pour générer le son, WorldSonus le découpe en segments et les produit à la suite, pendant que la vidéo avance. Son architecture de diffusion autorégressive en flux construit chaque partie en tenant compte de ce qui la précède. On peut imaginer un musicien qui accompagne une vidéo en direct, mesure après mesure, plutôt qu’un orchestre qui attend la fin du film avant de composer toute la bande-son. La diffusion est dite causale : le système génère les segments au fil du flux, au lieu d’avoir besoin de la séquence entière à l’avance. La publication annonce un facteur temps réel de 0,41 pour cette génération audio par segments, et le présente comme une génération rapide. Ce chiffre concerne la vitesse de production, mais ne suffit pas, à lui seul, à évaluer la qualité du son. Le système vise aussi à placer les sons dans l’espace en fonction de la scène et des mouvements de caméra. Pour le contrôle interactif, l’article décrit des instructions associées à des segments précis. Cela doit permettre de modifier des événements sonores pendant la génération. Il évoque aussi des données stéréo pour aligner le son avec l’espace représenté. Le résumé indique que les essais se comparent à des modèles vidéo-vers-audio, mais les résultats complets ne sont pas disponibles ici.