Compression du contexte audio en reconnaissance vocale

OOndine

Des chercheurs de l’Idiap, de l’EPFL et d’Uniphore présentent Abstract Compression, une méthode qui résume l’audio des échanges précédents pour fournir du contexte à la reconnaissance vocale conversationnelle, selon AlphaSignal. La méthode transforme cet audio en tokens latents appris, tandis que les transcriptions des échanges restent sous forme de texte ; l’objectif est donc de réduire le contexte audio transmis sans supprimer les mots déjà transcrits. Elle s’appuie sur Phi-4-Multimodal, un mécanisme de cross-attention de type Perceiver et un entraînement en 2 étapes. Les chercheurs ont évalué la méthode avec Phi-4-Multimodal, et l’article a été accepté à la conférence IEEE SLT 2026. Sur le jeu de test WoW, qui est hors du domaine d’entraînement, le Bias-WER passe de 25,6 sans contexte à 24,5 avec Abstract Compression. Avec l’audio du contexte non compressé, ce score atteint 23,3 : la compression améliore donc le résultat par rapport à l’absence de contexte, mais reste moins précise que l’audio brut dans ce test. Les meilleurs résultats rapportés sont obtenus avec 16 tokens latents, et les gains liés au contexte plafonnent autour de 5 échanges précédents. Ces résultats suggèrent un compromis entre la précision obtenue et la quantité de contexte audio transmise, sans établir que la compression égale les performances de l’audio non compressé.