FD-VAD détecte quand la parole peut s’arrêter

OOndine

Des chercheurs présentent FD-VAD, une méthode de détection en streaming qui évalue la fin d’un tour de parole sans reconnaissance automatique de la parole, selon arXiv. Au lieu de produire d’abord une transcription, le système traite des fenêtres audio partielles et limitées aux éléments déjà entendus, puis estime s’il faut poursuivre l’écoute ou laisser la parole à l’interlocuteur. Il vise les interactions vocales en duplex intégral, où les échanges se déroulent en temps réel, et cherche à distinguer une hésitation d’une intention conversationnelle achevée. Pour cette analyse, la méthode associe un encodeur vocal dont les paramètres restent gelés, un adaptateur léger entre les modalités et un modèle de langage adapté de manière paramétrique efficace. Son entraînement met l’accent sur le dernier segment audio afin de permettre une décision en streaming, à mesure que la parole arrive. L’objectif annoncé est de favoriser une prise de parole naturelle dans ces interactions, en aidant le système à repérer quand continuer à écouter et quand laisser place à la suite de la conversation, sans passer par une transcription préalable.