Meituan présente MR0, un modèle robotique pour le bureau

OOndine

Meituan présente lundi MR0, un modèle fondation vision-langage-action et un système d’agent incarné conçus pour manipuler des objets sur un bureau depuis une base stationnaire, selon arXiv. Son entraînement combine 147 millions d’échantillons vision-langage et 15 060 heures de trajectoires robotiques couvrant 12 types de robots. Cette diversité de trajectoires accompagne un modèle destiné à la manipulation sur bureau, et non un système présenté pour des tâches robotiques sans lien avec cet environnement. La méthode suit 3 étapes : d’abord un pré-entraînement avec des jetons d’action discrets, puis un entraînement intermédiaire par flow matching pour le contrôle continu entre différents robots, et enfin une adaptation sur des données du monde réel. Le passage par ces étapes conduit donc de la préparation des actions à un contrôle continu entre robots, avant l’adaptation sur des données réelles. Les chercheurs introduisent aussi Rollback, une méthode qui associe des segments de politique remplacés à des corrections humaines pour entraîner CFG-DAgger. Ces corrections fournissent des signaux positifs et négatifs, sans apprentissage de valeur ni annotation d’avantage. Rollback exploite ainsi les retours humains pour améliorer l’apprentissage des politiques robotiques, tandis que MR0 s’appuie sur des trajectoires issues de plusieurs types de robots pour la manipulation sur bureau.