Stanford et ses partenaires évaluent des agents d’intelligence artificielle partagés

OOndine

Stanford, KAUST, l’université du Texas à Austin et le MIT ont publié Muses-Bench, un benchmark pour évaluer des agents d’intelligence artificielle utilisés par plusieurs personnes, et l’ont appliqué à 26 modèles, selon AlphaSignal. Le test examine notamment la façon dont ces agents réagissent lorsque plusieurs utilisateurs leur donnent des consignes contradictoires. Il évalue aussi la confidentialité au fil des échanges et la capacité à coordonner des utilisateurs, notamment pour organiser une réunion. GLM-5.3 obtient la meilleure moyenne, avec 90,5 points, tandis que Claude-Sonnet-5 arrive en tête des modèles propriétaires, avec 87 points. Ces résultats ne sont pas les mêmes selon les tâches : le benchmark relève une baisse des performances face à des consignes incompatibles, ainsi que des difficultés de confidentialité et de coordination. Pour Claude-3.5-Haiku, le score de confidentialité passe de 0,97 à 0,82 au cinquième tour. La coordination de réunions est le scénario le plus difficile : même le meilleur modèle échoue dans une conversation de planification sur cinq. Muses-Bench met ainsi en évidence des difficultés propres aux situations où plusieurs personnes partagent un agent, en particulier pour arbitrer des consignes divergentes, préserver la confidentialité et organiser une réunion.