Des modèles généralistes pour la manipulation robotique

OOndine

Une équipe de recherche présente AMP1, un dispositif destiné à répondre à une question concrète : un modèle d’intelligence artificielle généraliste peut-il commander directement un robot et adapter ses actions pendant une manipulation ? Les auteurs appellent cette approche la manipulation agentique. Au lieu de suivre une suite de gestes préparée à l’avance, le modèle dirige le robot et ajuste ses actions au fil de la tâche. AMP1 est présenté comme un dispositif de référence qui fonctionne sans modification pour manipuler avec un seul bras, avec deux bras, ou depuis un robot mobile. Il peut être utilisé sans démonstrations et sans entraînement spécifique à chaque tâche. Le dispositif ne fournit pas non plus de compétences préprogrammées pour saisir, pousser ou placer un objet. Le modèle doit élaborer ses propres stratégies pendant l’action, plutôt que simplement reproduire un geste enseigné. Sur le banc d’essai RoboLab-120, AMP1 obtient 85,6 % de réussite sans entraînement dédié à la tâche. Les modèles concurrents atteignent 49,2 % pour les systèmes de type vision-langage-action, et 42,9 % pour les modèles de type monde-action. Les auteurs annoncent aussi des résultats de pointe sur CaP-Gym. Dans des essais avec de vrais robots, AMP1 réussit 104 manipulations sur 108, au cours de 12 tâches et avec 3 robots. Ces résultats suggèrent que la même approche peut être évaluée dans des situations variées, au-delà d’un seul scénario simulé. Mais ces performances viennent de l’étude elle-même. C’est la précaution à garder en tête avant d’y voir une preuve que cette méthode fonctionnera de la même façon dans tous les contextes réels.