IsaacTeleop convertit le suivi des mains en commandes robotiques

MMarc

NVIDIA propose avec IsaacTeleop un moteur qui convertit les données de suivi XR des mains et des contrôleurs en commandes pour des robots simulés ou réels, comme le détaille un tutoriel de MarkTechPost. Le guide explique comment ce moteur de retargeting traite ces données pour les traduire en actions robotiques, sans présenter les exemples comme une démonstration sur un robot physique. Pour les essais, les entrées de suivi sont générées synthétiquement avec NumPy, puis les exemples sont exécutés sur un processeur dans Colab. Il n’est donc nécessaire d’utiliser ni casque de réalité étendue, ni environnement d’exécution OpenXR, ni simulateur pour suivre ces exemples. Le tutoriel installe IsaacTeleop en version 1.4.145, avec l’option retargeters-lite, puis explore plusieurs éléments de son moteur de conversion. Il présente notamment des retargeters de préhension et SE(3), ainsi que la composition d’un graphe d’actions qui produit un vecteur d’action. D’autres exemples portent sur les transformations de repère et le mappage des commandes d’un contrôleur vers une main robotique dextrale. Le parcours va ainsi des données de suivi synthétiques à la production de commandes, dans un environnement d’essai limité à un processeur et sans équipement XR ni simulateur; il décrit la conversion, plutôt qu’une prise en main réelle d’un robot.