Runway présente WorldPrompt

LLéna

Runway a présenté vendredi GWM Worlds 2 comme un aperçu de recherche destiné à générer en temps réel des vidéos et des sons dans une simulation interactive, selon la lettre Latent Space. La fonctionnalité WorldPrompt permet de fixer certains éléments du monde simulé, notamment sa première image, puis de définir des événements horodatés, que l’utilisateur peut aussi ajouter à la volée pendant la simulation. Runway décrit cet outil comme une couche de contrôle portant sur les personnages, la caméra et l’environnement : les consignes servent à préciser ces composantes et à situer des événements dans le déroulement du monde généré. Mais WorldPrompt reste un format de prompt, et non un langage de programmation : il ne fournit pas de capacités de script ni de contrôle explicite de l’état du monde. La portée du pilotage est donc délimitée : les consignes peuvent porter sur des éléments précis et sur des événements définis dans le temps, mais pas sur un script ni sur une commande explicite de l’état du monde. Selon Robin Kahlow, chercheur chez Runway, le modèle resterait imparfait et sa fiabilité varierait avec la difficulté de l’action ; les mouvements fonctionneraient assez bien. Kamil Sindi affirme que l’entraînement et le passage à l’échelle des données et des modèles amélioreraient le suivi des instructions ; cette amélioration annoncée ne signifie pas que toutes les actions sont déjà suivies de façon fiable. GWM Worlds 2 reste un aperçu de recherche : la génération de vidéo et de son est proposée en temps réel, tandis que la fiabilité du suivi des consignes demeure inégale selon les actions.