Xiaomi veut simuler l’évolution du monde réel

MMarc

Dans une publication déposée sur arXiv, Xiaomi présente Auto World Model 2.0, un modèle causal en continu conçu pour modéliser et générer l’évolution physique du monde réel, notamment pour l’intelligence artificielle physique et la conduite réelle. L’idée est de traiter ensemble les images prises sous différents angles et les changements qui se produisent au fil du temps. On peut comparer cela à plusieurs personnes qui observent la même rue depuis des fenêtres différentes. Pour se faire une idée de la scène, elles doivent relier leurs points de vue, mais aussi suivre ce qui change au fil des instants. Le modèle associe deux mécanismes. Le premier, appelé attention entre vues et dans le temps, repère les liens entre les différentes caméras et les évolutions temporelles. Le second encode les relations de position entre les vues et dans le temps. Cette combinaison est conçue pour prendre en compte à la fois l’organisation spatiale de la scène et son évolution, afin de produire des générations cohérentes entre les vues. Un autre module, WorldRec 2.0, reconstruit en un seul passage des Gaussiennes 3D statiques et dynamiques, à partir d’observations prises sous plusieurs angles et à plusieurs moments. Les rendus de ces reconstructions servent ensuite de contexte explicite pour la scène. On peut imaginer une maquette conservée à côté des images : elle aide le modèle à garder en mémoire la disposition des lieux et leur apparence quand il génère une séquence prolongée. Le résultat principal décrit est donc une architecture qui associe ces mécanismes pour générer l’évolution du monde réel, tout en utilisant une reconstruction de la scène pour préserver sa géométrie et son apparence sur de longues générations. Les éléments décrits portent sur la conception du modèle et de ses modules.