Un benchmark quotidien pour Claude Opus 5.5

OOndine

Le développeur ninjahawk a publié livenerf, un benchmark open source conçu pour suivre l’évolution éventuelle des capacités des modèles après leur lancement, selon AlphaSignal. Sa première version cible Claude Opus 5.5 via Claude Code, avec un abonnement Max et sans clé d’interface de programmation. Pendant 30 jours, livenerf répète chaque jour le même panel de 78 questions, avec une version de l’outil en ligne de commande épinglée et une correction par correspondance exacte. Le panel a été sélectionné parmi 2 336 questions issues de GPQA Diamond, MMLU-Pro, de problèmes de mathématiques de compétition et d’AIME 2025-26. Lors de l’évaluation initiale, Claude Opus 5.5 a obtenu environ 93 % de bonnes réponses au premier échantillon. Le dispositif s’appuie sur Inspect et une méthode statistique préenregistrée, avec des comparaisons appariées et des intervalles d’incertitude. Ses règles de décision, le choix du panel et ses métriques sont consignés dans un commit public. AlphaSignal estime que le benchmark peut détecter une variation d’environ 7,5 points de précision sur 10 jours, en utilisant environ 3,6 % d’un forfait hebdomadaire. D’après AlphaSignal, les réponses de Claude Code restent stochastiques : l’interface ne permet pas de régler les paramètres d’échantillonnage ni de désactiver le raisonnement. Le benchmark vise à rendre les essais aussi reproductibles que possible, sans éliminer cette variabilité.