Une mémoire spatiale pour les robots

LLéna

Le 3D Gaussian Splatting, une technique de reconstruction de scènes en trois dimensions, est exploré comme mémoire spatiale pour les robots, selon Turing Post. Initialement conçu pour reconstruire des scènes photoréalistes à partir d’images, il combine plusieurs vues d’un environnement et les représente par des millions de petites primitives en trois dimensions. Ces primitives forment une représentation de la scène que des systèmes peuvent rendre consultable et actualisable, au-delà de l’image captée à un instant donné. GSMem, par exemple, transforme ces reconstructions en mémoire spatiale : un robot peut s’y référer pour retrouver des lieux ou des objets déjà observés, même lorsqu’ils ne sont plus dans le champ de sa caméra. Cette représentation peut également être mise à jour et réinterprétée, ce qui permet de conserver une carte exploitable de l’environnement plutôt que de se limiter aux éléments visibles sur le moment. Les représentations gaussiennes peuvent aussi alimenter des simulations lorsqu’elles sont associées à des modèles physiques, ce qui ouvre un autre usage de ces reconstructions que la seule mémorisation des lieux. Mais cette association est importante : une scène mémorisée ne suffit pas, à elle seule, à comprendre le comportement physique des objets ou à prédire comment l’environnement va évoluer. Le 3D Gaussian Splatting peut donc fournir aux robots une mémoire spatiale consultable et actualisable, et servir de support à la simulation avec des modèles physiques, sans constituer à lui seul une compréhension de la physique.