Synth-DoPaCo, un corpus médical pour évaluer les modèles audio

LLéna

Synth-DoPaCo est un jeu de données ouvert de 8 800 conversations synthétiques entre médecins et patients, conçu pour évaluer la capacité des modèles audio à résumer de longues consultations médicales, selon AlphaSignal. Il rassemble 8 800 conversations synthétiques entre médecins et patients, pour un total de 1 329 heures d’audio. Le corpus sert à tester la capacité des modèles à résumer des échanges cliniques longs ; ses conversations sont construites à partir de profils de patients et mises en audio avec plusieurs intervenants et une acoustique de salle. Dans une troisième étape, un modèle de langage produit des notes médicales de référence au format SOAP, qui permettent de comparer les résumés des systèmes évalués. Les auteurs indiquent que les systèmes en cascade, qui reconnaissent d’abord la parole avant de la traiter avec un modèle de langage, sont plus fidèles que les modèles audio de bout en bout testés, notamment Qwen3-Omni. La qualité perceptuelle de l’audio synthétique obtient un score UTMOS de 1,27, proche de 1,28 pour des enregistrements simulés de consultations réelles ; les deux scores sont donc très voisins, sans être identiques. Les versions d’entraînement et de développement doivent être publiées autour d’Interspeech 2026, tandis que le jeu de test restera privé pour limiter la contamination des évaluations.