Les échecs de ThinkingBox
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Ondine
Soixante-dix-neuf mille huit cent cinquante-trois essais échouent aux vérifications de ThinkingBox, le benchmark présenté par Microsoft et Hugging Face, selon Hugging Face. Le test porte sur 507 workflows métier avec un état persistant, et vérifie si les agents laissent les systèmes dans l’état attendu, au-delà de leurs réponses et de leurs appels d’outils. Parmi ces échecs, 67,24 % se terminent sans erreur d’outil signalée, malgré un appel qui modifie l’état. Les vérifications relèvent aussi des champs incorrects, des effets supplémentaires non souhaités ou des effets requis manquants. Ce résultat rappelle qu’évaluer un agent exige aussi de vérifier les changements réellement apportés aux systèmes métier.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.