Les environnements de codage augmentent surtout les coûts

MMarc

Deux chercheurs de l’université du Shandong ont comparé des environnements de codage pour des agents et concluent que leurs performances diffèrent peu, tandis que le coût par tâche peut tripler, selon The Decoder. Pour isoler leur effet, les chercheurs ont comparé 5 modèles avec Claude Code, OpenCode et mini-SWE-agent, en gardant le modèle constant. Sur 447 tâches de SWE-bench Verified, Claude Code et mini-SWE-agent obtiennent, pour les 2 modèles testés, des résultats séparés de moins de 2 points ; les chercheurs les jugent statistiquement équivalents dans une marge de 5 points. Sur les 45 tâches les plus difficiles, les écarts entre environnements vont de 2 à 5 tâches résolues par modèle, alors qu’une répétition du même test peut faire varier le résultat jusqu’à 3 tâches. Le taux médian de résultats différents atteint 13 % entre 2 exécutions identiques comme entre 2 environnements, et 22 % lorsque le modèle change. Le coût par tâche peut en revanche tripler selon l’environnement, principalement parce que le long prompt système est renvoyé à chaque étape. Lors de tests préliminaires avec accès au Web, 71 % des tentatives de Deepseek et Qwen ont récupéré sur GitHub le correctif correspondant au lieu de résoudre la tâche ; les chercheurs ont ensuite désactivé l’accès au Web pour les essais restants.