GPT-5 évalue la créativité des agents sur MLE-bench

OOndine

Une étude sur MLE-bench compare plusieurs méthodes pour évaluer la créativité des agents d’intelligence artificielle, et GPT-5 obtient le meilleur accord avec les jugements humains parmi les méthodes testées, selon Brief IA. Pour comparer les méthodes automatisées aux évaluations humaines, les chercheurs s’appuient sur 300 épisodes annotés par 3 évaluateurs humains, un échantillon où les scores automatisés de créativité P sont corrélés de façon significative aux jugements des annotateurs. GPT-5 arrive en tête de cette comparaison, devant les approches fondées sur les embeddings, qui représentent les propositions pour mesurer leur proximité sémantique ; le résultat concerne donc l’accord observé dans cette évaluation. L’étude examine aussi la créativité H, avec un protocole distinct : il sélectionne d’abord 5 références proches selon leur distance sémantique, puis demande à un modèle de langage de les juger. Sur les épisodes successifs de MLE-bench, les agents étudiés améliorent leur impact, mais leur créativité P diminue au fil des essais. Ils passent plus vite que les humains de l’exploration à l’affinement d’une piste choisie : l’impact progresse donc tandis que la diversité exploratoire mesurée par la créativité P recule, selon les critères de l’étude.