Transmettre la géométrie 3D aux robots, sans leur ajouter de capteurs

LLéna

Des chercheurs présentent une méthode pour transmettre des informations sur la forme des objets à une politique robotique qui fonctionne avec des images. Leur question est simple : une politique peut-elle apprendre la géométrie des objets pendant son entraînement, sans avoir besoin d’images en trois dimensions ni d’autres entrées 3D quand le robot agit ? Cette recherche est publiée sur arXiv. La méthode utilise un modèle de formes en trois dimensions appelé Point-MAE comme enseignant. Pendant l’entraînement, un encodeur qui traite les images rapproche les représentations de petites zones de l’image des caractéristiques 3D des objets correspondants. On peut imaginer un élève qui apprend à reconnaître un objet sur une photo, tandis qu’un professeur lui montre aussi sa forme en volume. L’enseignant apporte des repères géométriques, mais la politique conserve ses entrées visuelles au moment du déploiement. Elle n’a donc pas besoin du modèle enseignant ni d’une entrée de profondeur à cette étape. Sur les essais menés avec LIBERO, les représentations des images sont davantage structurées autour des formes des objets et des parties qui leur correspondent. Pour des politiques déjà préentraînées, la convergence, c’est-à-dire le moment où l’apprentissage se stabilise, est accélérée d’un facteur de 4,7 sur la suite Object et de 5,6 sur la suite Spatial. Les auteurs indiquent aussi une amélioration des taux de réussite, sans que l’extrait disponible en précise l’ampleur. L’intérêt de cette approche est de faire apprendre des repères géométriques sans rendre les entrées du robot plus complexes au moment d’agir. Les représentations en trois dimensions peuvent aider face aux changements de point de vue, aux déplacements d’objets ou aux parties cachées. Mais utiliser des entrées 3D au déploiement demanderait des capteurs et du traitement supplémentaires. Cette recherche est une prépublication déposée sur arXiv.