AA-Omniscience renouvelé

MMarc

Artificial Analysis a publié la version 1.1 d’AA-Omniscience, avec 3 000 questions privées réparties en six domaines, après le retrait de questions trop faciles ou ambiguës et l’ajout de nouveaux éléments, selon AlphaSignal. Gemini 4 Carbon arrive en tête avec un score net de 54, devant Claude Opus 5.5 à 48 et Claude Fable 5.1 à 46. Ce score récompense les réponses correctes, pénalise les erreurs et attribue zéro aux abstentions. L’ordre général des modèles reste proche de celui de la version précédente, avec une corrélation de rang de 0,98, tandis que le score médian baisse de 0,6 point. Les changements les plus marqués concernent MiniMax M3.1 Flash, qui passe de plus 16 à moins 6, et MiMo V2.6 Pro, qui perd 13 points après le renouvellement des questions ; ces baisses pourraient signaler une contamination des résultats précédents. Claude Fable 5.1 affiche la meilleure précision, à 68 %, tandis que Gemini 4 Argon présente le taux d’hallucination le plus bas, à 4 %. Artificial Analysis propose aussi un jeu public recalibré de 300 questions, dont les résultats sont fortement corrélés à ceux du test privé, avec des corrélations de Pearson et de Spearman de 0,99. Cette stabilité du classement général n’exclut pas des écarts importants pour certains modèles après le renouvellement des questions.