Ce que les codes de mouvement retiennent des gestes

MMarc

Une étude publiée sur arXiv évalue si les codes d’un tokenizer de mouvement, entraîné à reconstruire des gestes co-verbaux, permettent aussi de retrouver des caractéristiques de ces gestes. Il s’agit de mouvements produits en lien avec la parole, et l’étude examine le codebook, l’ensemble des codes discrets utilisés pour représenter ces mouvements. Pour mesurer ce que ces codes rendent décodable, les auteurs s’appuient sur 19 descripteurs, qui couvrent les propriétés du mouvement ainsi que des fonctions communicatives plus abstraites. Les résultats indiquent que la géométrie des gestes et leur latéralité sont facilement décodables à partir des représentations associées aux tokens. Autrement dit, ces représentations rendent accessibles des caractéristiques liées à la forme et au côté du geste, mais pas nécessairement sa fonction dans l’échange. La catégorie de mouvement, en revanche, est faiblement décodable, même si l’usage des codes discrets présente des différences systématiques selon les mouvements. Les résultats distinguent donc les propriétés qui ressortent nettement, comme la géométrie et la latéralité, de la catégorie du mouvement, moins lisible dans ces représentations. Une bonne reconstruction ne suffit pas à établir que le codebook encode la sémantique des gestes ; les auteurs soulignent que ces propriétés doivent être évaluées explicitement, plutôt que déduites de la seule capacité du tokenizer à reconstruire les mouvements.