Les modèles du monde préparent les machines au réel

OOndine

Les modèles du monde utilisent des images pour prévoir l’état visuel suivant et créer des environnements numériques qui simulent la physique, à la différence des modèles de langage, qui prédisent le mot suivant, explique Wired. Niantic Spatial veut exploiter ses données du monde réel pour créer des répliques numériques de lieux où des robots pourraient intervenir. Des photos de ces lieux pourraient servir à produire un modèle en trois dimensions, puis à entraîner un robot par des millions de simulations, dans un environnement virtuel plutôt que sur place. L’idée est de multiplier les scénarios d’entraînement sans devoir déplacer le robot dans chacun d’eux. Wayve entraîne aussi ses modèles génératifs du monde, en partie à partir d’images de caméras embarquées. L’entreprise recrée ainsi des routes dangereuses et des situations qu’il serait peu pratique de tester dans le monde réel, pour permettre à ses systèmes de s’y exercer en simulation. Les jeux vidéo constituent un autre domaine d’étude, et Tencent investit dans ses propres modèles du monde. Ces usages montrent que ces modèles ne servent pas seulement à représenter des scènes : ils pourraient aussi préparer des machines à des situations concrètes, en reproduisant virtuellement des lieux ou des conditions difficiles. Les progrès de ces modèles pourraient contribuer à l’essor des robots domestiques et des voitures autonomes en 2027, une perspective qui reste incertaine et ne garantit pas que les machines agiront de façon fiable dans le monde physique.