SituHOI rassemble des données sur les interactions humaines

LLéna

SituHOI est un jeu de données de recherche consacré aux interactions entre humains et objets dans des scènes réelles, présenté mardi sur arXiv. Il rassemble 18 429 séquences annotées, enregistrées dans 16 pièces intérieures, pour environ 86 heures d’activités sélectionnées selon leur qualité. Les séquences ont été enregistrées avec une caméra mobile RGB-D, qui capte des images en couleur et en profondeur. Le jeu de données associe ces enregistrements à des scans statiques des scènes, à la géométrie des objets, à des descriptions en langage naturel et à des trajectoires estimées pour les humains et les objets. Il réunit donc, pour les mêmes activités, des séquences annotées, des descriptions textuelles et des représentations spatiales, sans se limiter aux seules images de la caméra. Pour organiser ces éléments, le pipeline de SituHOI s’appuie sur les scans comme références persistantes et combine la localisation de la caméra, un alignement métrique fondé sur la profondeur, la reconstruction de maillages humains, le suivi des objets et un raffinement temporel. Les scans fournissent ainsi une référence persistante aux étapes du pipeline, tandis que les trajectoires estimées décrivent les déplacements des humains et des objets. SituHOI met à disposition un ensemble de données de grande échelle pour étudier les interactions entre humains, objets et scènes, avec des informations visuelles, géométriques et textuelles réunies dans un même jeu de données.