ThinkingBox teste les agents IA dans les systèmes métier

MMarc

Samedi, Microsoft et Hugging Face ont présenté ThinkingBox, un benchmark qui évalue si les agents d’intelligence artificielle laissent les systèmes métier dans l’état attendu après leurs actions, selon Hugging Face. L’évaluation porte donc sur le résultat concret des opérations, et pas seulement sur la qualité des réponses produites ou sur le bon déroulement des appels d’outils. Elle vérifie aussi les effets des actions et les changements persistants dans les systèmes, pour distinguer une opération qui semble réussir d’un état final réellement conforme. Le benchmark couvre 507 workflows métier, exécutés 20 fois avec différents modèles de langage. Cette répétition permet de comparer les résultats sur des scénarios où les systèmes conservent l’état créé par les actions. Dans une comparaison portant sur 121 680 essais valides avec 12 modèles, 79 853 échouent aux vérifications exécutables. Parmi ces échecs, 67,24 % se terminent sans erreur d’outil signalée, malgré un appel qui modifie l’état du système. Les contrôles relèvent des valeurs de champs incorrectes dans 77,61 % des cas, des effets supplémentaires non souhaités dans 43,30 % et des effets requis manquants dans 25,36 % ; ces catégories peuvent se recouper. ThinkingBox met ainsi en évidence une limite des évaluations centrées sur les réponses ou sur le déroulement apparent des outils : l’absence d’erreur signalée ne garantit pas que l’agent a obtenu le bon état final. Les auteurs indiquent que le benchmark peut être essayé via OpenEnv.