FAH estime les mains en 2D et en 3D

MMarc

Les auteurs présentent FAH, une famille de modèles pour estimer les mains en 2D et en 3D, dans une publication sur arXiv, vendredi. FAH est issue de la branche consacrée aux mains de SAM 3D Body, et ses modèles sont entraînés par ajustement fin et distillation de caractéristiques. Il s’agit donc d’adapter et de distiller des caractéristiques à partir de cette branche dédiée, plutôt que de présenter FAH comme un système sans lien avec SAM 3D Body. Les modèles prédisent des articulations et des points de surface, à la fois dans l’image et en trois dimensions, puis ajustent des maillages de main issus de MANO ou de MHR-Hand. Ils peuvent également estimer les parties anatomiques de la main et les contacts avec un objet sans disposer de la géométrie de cet objet au moment de l’inférence. Dans les expériences rapportées, FAH améliore l’alignement dans l’image, la géométrie des mains et l’estimation des contacts par rapport aux méthodes comparées. Pour le suivi, les auteurs indiquent que le raffinement causal réduit l’erreur d’accélération, tandis que l’estimation de la caméra permet de suivre les mains dans l’espace monde.