STATERA estime le centre de masse d’objets à partir de vidéos

OOndine

Des chercheurs présentent STATERA, une méthode qui estime le centre de masse d’objets rigides, opaques et asymétriques à partir de courtes vidéos, selon arXiv. La méthode adapte V-JEPA, un modèle vidéo préentraîné, et conserve gelée la plupart de ses poids ; elle ajoute un module léger de mélange de tubelets temporels pour traiter les images successives. L’objectif est d’estimer le centre de masse en observant le mouvement d’un objet filmé par une caméra, sans avoir besoin de voir à travers sa surface opaque. Pour évaluer cette approche, les auteurs présentent HiddenMass, un benchmark qui comprend 50 000 trajectoires simulées avec le moteur physique MuJoCo et un jeu de test réel de 63 séquences. Ces séquences réelles sont associées à une mesure de référence du centre de masse, calibrée physiquement ; elles permettent donc de comparer les estimations à des valeurs mesurées. Sur les trajectoires simulées, STATERA-50K-Sigma obtient une erreur normalisée de 25,2 %, contre 41,7 % pour DINOv2. Ces résultats chiffrés concernent la simulation : ils ne mesurent pas la précision de la méthode sur les séquences réelles. Le résumé des résultats de transfert de la simulation vers le réel est tronqué, et les performances correspondantes ne sont pas précisées ; la présence de séquences réelles dans le benchmark ne suffit donc pas à établir que STATERA y atteint la même précision.