Un modèle audio-texte pour détecter l’ambivalence et l’hésitation

LLéna

Une étude publiée sur arXiv présente un système qui cherche à reconnaître l’ambivalence et l’hésitation dans une vidéo, en combinant le texte transcrit et les formes d’onde de la parole. L’approche met en relation ce qui est dit et les caractéristiques du signal vocal, au lieu de traiter la transcription et l’audio comme deux sources séparées. Pour traiter le texte, le système utilise multilingual BERT ; pour l’audio, il utilise wav2vec 2.0. Ces deux composantes produisent des représentations distinctes des informations linguistiques et acoustiques, que le modèle peut ensuite rapprocher. Deux blocs d’attention croisée bidirectionnelle relient les indices linguistiques et acoustiques, sans exiger d’alignement temporel explicite entre chaque mot et chaque portion du son. Le système n’a donc pas besoin de recevoir au préalable une correspondance précise entre les instants d’apparition des mots et ceux des éléments sonores. Les séquences obtenues sont agrégées par moyenne masquée, puis combinées avec plusieurs opérations : des concaténations, des produits élément par élément et des différences absolues. Ces opérations réunissent les représentations des deux modalités avant la classification. L’ensemble aboutit à une classification binaire de l’ambivalence et de l’hésitation. L’étude décrit ainsi une chaîne de traitement qui associe texte et audio à l’échelle d’une vidéo, depuis leur encodage jusqu’à la décision finale.