MSEB, le benchmark audio de Google Research

LLéna

Google Research propose MSEB, un benchmark audio dont MarkTechPost détaille l’utilisation dans un tutoriel consacré à la mise en œuvre et à l’évaluation d’encodeurs sonores. Il met cette exigence en pratique avec 2 encodeurs expérimentaux, construits selon des principes différents : le premier s’appuie sur l’évolution du volume sonore, tandis que le second repose sur le timbre. Ces deux encodeurs sont évalués sur des données audio synthétiques, à travers 4 tâches : la classification, le clustering, la recherche et la segmentation. La comparaison ne s’arrête donc pas à leur implémentation ni à un seul exercice : le benchmark permet d’observer les résultats de chaque encodeur dans plusieurs types de tâches. Les résultats varient selon la tâche évaluée ; les 2 encodeurs n’obtiennent pas les mêmes performances d’un exercice à l’autre. Cette variation invite à ne pas traiter un résultat de classification comme un résumé du comportement d’un encodeur en clustering, en recherche ou en segmentation : chacune de ces tâches apporte son propre résultat à la comparaison. C’est précisément l’intérêt d’une évaluation multi-tâches mis en évidence par MSEB : rendre visibles les écarts d’un test à l’autre et rappeler qu’un score unique ne suffit pas à résumer les résultats.