Des robots humanoïdes face aux outils

OOndine

Des chercheurs présentent HumanoidToolBench, un outil d’évaluation de l’usage d’outils par des robots humanoïdes, du choix de l’objet jusqu’à l’exécution de la tâche, selon arXiv. La question est simple : le robot peut-il seulement choisir un outil adapté, ou peut-il aussi s’en servir pour accomplir le travail ? Le benchmark comprend 18 tâches, réparties entre trois scénarios et trois niveaux d’exécution. Il propose aussi deux modes de composition de l’ensemble d’outils disponibles. L’idée est de tester plus que le choix initial : le robot doit réaliser la tâche, avec un déplacement lorsque c’est nécessaire. On peut comparer cela à une réparation : trouver le bon outil dans une boîte ne suffit pas, il faut encore le manier correctement et se déplacer si le travail l’exige. Le projet comprend aussi ToolBook, un jeu de 3 100 démonstrations recueillies en simulation et sur un robot Unitree G1 réel. Ces démonstrations viennent donc à la fois d’un environnement simulé et d’un robot physique. Les chercheurs ont évalué sept politiques en simulation et trois sur le robot réel. Les évaluations font apparaître un écart important entre le choix d’un outil adapté et la réussite de la tâche. Autrement dit, sélectionner le bon objet ne garantit pas que le robot parviendra à s’en servir pour terminer le travail. La publication évoque aussi des tests ciblés de GR00T N1.7. Selon arXiv, ces tests montrent une baisse de la précision de sélection lorsque les outils n’ont pas été vus auparavant. Ils font aussi état d’une poursuite de l’exécution de la tâche face à des consignes sans rapport. Le résultat principal reste donc celui des évaluations présentées : choisir un outil adapté et réussir toute la tâche sont deux étapes distinctes, et l’écart entre elles mérite d’être pris en compte.