Les agents de code face à un test plus exigeant
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Léna
Artificial Analysis a publié samedi la version 2.1 de son Coding Agent Index, qui intègre FrontierCode 2.0 et Terminal-Bench 4.1, selon AlphaSignal. La mise à jour ne permet pas de comparer directement les scores globaux de cette édition avec ceux des versions précédentes. Sur les 23 configurations évaluées avec les deux versions de FrontierCode, le score moyen passe de 45 % à 29 %, soit une baisse de 16 points de pourcentage. Les scores globaux de l’index reculent eux aussi d’environ 5 points en moyenne, mais cette variation ne permet pas, à elle seule, d’isoler la cause de la baisse. FrontierCode 2.0 couvre 55 % de dépôts supplémentaires et comporte 43 % de critères bloquants en plus par tâche ; ces critères évaluent si un correctif risque d’empêcher son intégration. Quatre configurations se partagent la première place avec 58 points : deux associent Claude Code à Claude Fable 5.2, une autre combine Claude Code et Claude Opus 5.5, et la quatrième utilise Devin Fusion CLI avec Claude Opus 5.5 Max et GPT-6 Luna High. Leur coût par tâche va toutefois de 1,51 à 44,22 dollars, un écart d’environ 30 fois. Sur Terminal-Bench 4.1, Kimi K3.1 Pro obtient 68 %, devant Claude Sonnet 5.5 à 66 %. Ces résultats donnent donc plusieurs repères sur les performances et les coûts des agents de programmation, mais les scores globaux ne se comparent pas directement aux éditions antérieures de l’index.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.