Des dialogues vocaux retouchés scène par scène

OOndine

Les auteurs d’une étude déposée mardi sur arXiv proposent une méthode pour mieux contrôler la synthèse vocale de dialogues à plusieurs voix. Ils cherchent à corriger les problèmes de parole et d’expression sans devoir tout recommencer à chaque fois. Le principe repose sur une boucle de critique et d’amélioration, plutôt que sur une génération en une seule passe. Imaginez une recette que l’on goûte pendant la préparation. Si un élément ne convient pas, on ajuste cette partie au lieu de jeter le plat et de repartir de zéro. Le système examine les répliques une par une, puis la scène dans son ensemble. Selon le problème détecté, il peut retoucher un passage, produire une nouvelle synthèse ou modifier le minutage. Le cadre s’appuie sur ControlEdit-TTS. Cet outil associe la synthèse guidée par des consignes à la modification d’attributs expressifs à partir d’instructions en langage courant. Il peut ainsi servir à corriger une caractéristique de la parole sans régénérer entièrement l’enregistrement. L’objectif est de mieux maîtriser les échanges entre plusieurs voix, tout en conservant l’identité de chaque personne qui parle. Les expériences présentées portent sur un banc d’essai de dialogues en chinois et en anglais. Les auteurs indiquent que leur méthode suit mieux les consignes pour chaque réplique et qu’elle est davantage appréciée au niveau du dialogue que des modèles directs ou d’autres méthodes agentiques. Les corrections par retouche se montrent aussi plus efficaces que les approches qui se contentent de régénérer la parole. Les analyses complémentaires attribuent un intérêt particulier à la critique des scènes et aux corrections ciblées. Ces résultats restent liés à ce banc d’essai bilingue. Ils ne permettent pas de conclure que la méthode fonctionnera aussi bien dans toutes les langues et toutes les situations.