Taste-Bench mesure les choix des agents d’intelligence artificielle

MMarc

Des chercheurs de Microsoft et de la City University of Hong Kong ont créé Taste-Bench, un test qui évalue le « goût » des agents d’intelligence artificielle dans les tâches longues, selon The Decoder. L’objectif est de mesurer leur capacité à choisir une bonne piste avant que ses conséquences soient visibles, plutôt que de juger seulement si l’agent atteint finalement son but. Le benchmark comprend 502 questions construites à partir de bifurcations dans des trajectoires d’agents. Pour chacune, le modèle doit choisir entre 2 pistes, et l’une s’est révélée meilleure avec le recul. Les exemples viennent de milliers d’exécutions sur des tâches de programmation et de recherche en intelligence artificielle, notamment SWE-bench Pro et des transcriptions publiques du programme MALT de METR. Des évaluateurs humains ont confirmé presque toutes les étiquettes produites automatiquement, et l’étude compare 14 modèles de plusieurs familles. Le meilleur modèle cité, GPT-5.6 Sol, choisit la bonne piste dans un peu moins de 60 % des questions binaires simples. L’article indique aussi qu’allonger le temps de réflexion n’améliore pas les résultats. Taste-Bench évalue ainsi la qualité des décisions prises par les agents au fil de tâches longues, au-delà de leur seule réussite finale. Ces résultats montrent que, dans ce test, les modèles choisissent la bonne piste dans moins de 60 % des questions, même pour le meilleur modèle cité.