Évaluer ce que les modèles audio comprennent vraiment

OOndine

Une étude publiée sur arXiv examine si les modèles capables de traiter du son réagissent à la classe d’un événement sonore, ou simplement aux changements apportés à l’audio. Pour le tester, les chercheurs modifient un événement dans un enregistrement. Ils le remplacent soit par un son de la même classe, soit par un son d’une classe différente. Dans les deux cas, ils utilisent le même intervalle audio, avec des traitements identiques pour estimer le niveau, ajuster le son de remplacement et réaliser le fondu. C’est comme comparer deux retouches d’une même photo : on change un détail, mais on garde la même méthode de retouche. Cette comparaison permet d’observer comment les réponses varient selon que le son de remplacement appartient à la même classe ou à une classe différente. Les chercheurs appliquent cette méthode à 600 paysages sonores synthétiques et à 3 modèles, issus de 2 familles d’architectures. Quand le son de remplacement appartient à une classe différente, les modèles changent davantage de réponse : l’écart atteint de 49,7 à 60,9 points de pourcentage par rapport aux remplacements de même classe. Avec un remplacement de même classe, la précision reste à moins de 5,2 points de pourcentage de celle mesurée avec l’audio original. Et, parmi les essais où les réponses sur l’audio original et après remplacement de même classe sont correctes, la précision pour reconnaître la classe insérée se situe entre 73,7 et 81,9 %. Ces résultats suggèrent que des remplacements de même classe pourraient servir de contrôle pour évaluer comment les modèles répondent à des changements locaux de la classe d’un événement sonore. L’étude porte sur des paysages sonores synthétiques et 3 modèles issus de 2 familles d’architectures : ses résultats décrivent ces essais et ces modèles.