Artificial Analysis refond son Decision Index

OOndine

Artificial Analysis a refondu la version 2 de son Decision Index, qui compare des modèles chargés de choisir entre plusieurs options et d’associer une probabilité à leur réponse, selon AlphaSignal. Le nouvel index évalue à la fois la justesse des réponses et le niveau de confiance affiché par le modèle. Une réponse correcte est récompensée, tandis qu’une erreur formulée avec assurance entraîne une pénalité, pour distinguer les modèles fiables de ceux qui affichent une certitude excessive. La part des données privées passe de 25 % dans la première version à 45 % dans la nouvelle, afin de limiter l’optimisation des modèles sur des benchmarks publics. L’index comprend aussi AA-Paperclip, un test portant sur 1 500 documents ; chaque document est évalué à partir de 15 réponses, avec une notation tout ou rien. Parmi les modèles spécialisés en prise de décision, Drex Max v1.1 et GLiDE v1.2 obtiennent chacun 73 points, devant Mammoth 27B, qui en obtient 72 ; au classement général, Claude Haiku 5.5 arrive en tête avec 77 points. Ces scores ne disent pas, à eux seuls, combien coûte l’utilisation des modèles : l’écart de coût atteint un facteur de 60, notamment parce que certains sont facturés par question et d’autres par document.