Artificial Analysis refond ses indices sectoriels

MMarc

Artificial Analysis a mis à jour mercredi ses six indices sectoriels de capacités, désormais alignés sur son Intelligence Index version 5, selon AlphaSignal. Les indices couvrent la finance et la comptabilité, la stratégie et les opérations, le droit, la santé, l’ingénierie et l’économie. Ils accordent davantage de poids à la maîtrise des hallucinations et à l’utilisation d’outils par les agents. La mise à jour remplace Humanity’s Last Exam par HLE-Diamond, fait passer AA-Omniscience en version 1.1 et retire GDPval-AA et AA-LCR des catégories concernées. En ingénierie, l’indice intègre une évaluation scientifique fondée sur CritPt version 2 et Terminal-Bench-Science version 0.1. Pour CritPt version 2, Artificial Analysis utilise un sous-ensemble privé de 40 questions de physique de niveau recherche, sélectionnées parmi 70. Artificial Analysis classe Claude Opus 5.5, avec l’effort maximal, en tête des six indices. GPT-6 Astra se classe deuxième dans trois domaines. Kimi K3.1 Pro est le modèle à poids ouverts le mieux classé, entre la 5e et la 8e place au classement général selon les indices. Les indices s’appuient sur les tâches professionnelles de la taxonomie O*NET du département du Travail américain. Les benchmarks sont pondérés selon la fréquence des capacités requises dans les tâches des métiers concernés.