Les équipes d’agents de codage valent-elles leur surcoût ?

SSacha

Vals AI a comparé GPT 6 Sol et Claude Opus 5.5, chacun utilisé seul puis en équipe, sur Vibe Code Bench, d’après AlphaSignal. Pour chaque configuration, les modèles ont travaillé sur 50 spécifications d’applications. Ils devaient construire des applications web complètes, et le test évaluait ensuite leur fonctionnement. La comparaison portait aussi sur 2 niveaux d’effort de raisonnement, moyen et maximal. Cela permet de distinguer l’effet de l’organisation en équipe de celui d’un modèle qui réfléchit davantage en solo. Les 2 modèles ne sont donc pas seulement comparés entre eux : chaque modèle est également évalué selon plusieurs manières de travailler. Le résultat est un instantané de configurations précises, sur des tâches définies, et non un verdict général sur tous les agents de codage. Pour interpréter les chiffres, il faut garder en tête ce cadre : une application complète doit réunir plusieurs fonctions, et le test observe si elles fonctionnent ensemble du point de vue de l’utilisateur.

SSacha

Le modèle reçoit une description du produit à créer et doit livrer une application web complète. Les applications sont déployées avec Docker Compose, puis des agents de navigation testent les parcours en cliquant dans l’interface. Le score correspond à la part des tests de l’interface qui réussissent, calculée sur les 50 applications. Concrètement, le test ne se contente donc pas de demander si le code a été écrit : il regarde si des fonctions accessibles dans l’application répondent correctement lorsqu’on les utilise. Le travail comprend des éléments distincts, comme la base de données, l’interface, l’API et le déploiement. Il faut que ces pièces communiquent correctement : une interface réussie ne suffit pas si elle ne reçoit pas les bonnes informations du reste du système. Ce type de banc d’essai rend ainsi visibles des erreurs qui apparaissent lorsque plusieurs composants doivent s’assembler. Cela ne signifie pas qu’il mesure toutes les qualités possibles d’un logiciel, mais il donne un indicateur concret de la réussite des parcours testés.

SSacha

Dans le test, l’agent principal pouvait faire appel à un maximum de 5 sous-agents en parallèle, mais ceux-ci ne pouvaient pas en créer d’autres. Chacun recevait une copie de la spécification et du contexte de travail, pour prendre en charge une partie du projet. L’agent principal devait ensuite intégrer les contributions et vérifier le résultat : déléguer ne supprimait donc pas le besoin de coordination. Cette duplication a aussi un prix, puisque les jetons d’entrée mis en cache représentaient une grande part des dépenses supplémentaires. Il faut imaginer plusieurs travailleurs chargés de pièces différentes, mais aussi plusieurs copies du dossier de départ qui circulent. Les consignes, l’environnement de travail et l’évaluation restaient identiques entre les versions solo et équipe. Cela rend la comparaison plus directe, même si l’organisation du travail, elle, change. Le résultat principal est net sur les coûts : les équipes ont coûté entre 1,8 et 5,1 fois plus cher que les agents seuls. Sur les scores, une seule des 4 configurations en équipe a obtenu un gain statistiquement significatif. C’est GPT 6 Sol à effort moyen : son score passe de 77,6 % à 84,9 %, soit 7,3 points de plus. Les autres écarts ne permettent pas d’affirmer que l’équipe améliore régulièrement les résultats. Un chiffre supérieur lors d’un essai n’est pas, à lui seul, la preuve d’un avantage stable. Ici, le gain mesuré concerne un réglage précis, et il s’accompagne d’un coût supérieur à celui de l’agent seul correspondant.

SSacha

Pour les personnes qui veulent produire des applications web complètes, l’étude donne des repères sur le rapport entre coût, délai et score, mais seulement pour les configurations testées. Avec GPT 6 Sol, l’équipe à effort moyen coûte 3,07 dollars par application. L’agent seul à effort maximal coûte 4,82 dollars, soit 1,6 fois plus, et prend 3 fois plus de temps que cette équipe à effort moyen. Cette comparaison montre qu’un agent solo réglé au maximum n’est pas nécessairement le choix le plus rapide ni le moins cher. Elle ne compare toutefois pas deux configurations identiques : l’une mobilise une équipe à effort moyen, l’autre un agent seul à effort maximal. Le meilleur score de l’étude, 93,2 %, vient d’une équipe de Claude Opus 5.5 à effort maximal. Mais cette configuration coûte 122 dollars et prend 174 minutes par application. Le score le plus élevé s’accompagne donc d’un coût et d’un temps d’exécution importants. Pour décider si ce résultat est utile, il faudrait savoir si le niveau de qualité recherché justifie ces ressources. Les chiffres ne permettent pas de dire qu’un modèle ou une organisation convient à tous les projets. Ils montrent plutôt qu’un choix peut se faire entre des résultats, des coûts et des durées différents, selon les besoins du travail concerné.

SSacha

Les équipes n’accélèrent pas tous les modèles de la même façon. Avec GPT 6 Sol, à effort maximal, le temps d’exécution passe de 38 à 28 minutes lorsque le modèle travaille en équipe. Pour Claude Opus 5.5, c’est l’inverse : ses équipes prennent jusqu’à 2,3 fois plus de temps que l’agent seul. La manière dont le travail est réparti peut donc compter, mais ces résultats ne permettent pas d’isoler une cause unique à l’écart de durée. On sait aussi que les équipes font intervenir des sous-agents et que l’agent principal doit assembler leurs contributions. Le parallélisme peut réduire le temps pour Sol, sans produire le même effet pour Opus. Autre limite importante : les 8 configurations testées n’ont été exécutées qu’une seule fois chacune. Les chiffres ne décrivent donc pas la variabilité d’une série de répétitions pour chaque réglage. Vals AI précise que l’étude porte sur un seul banc d’essai d’applications web complètes et que les résultats pourraient ne pas s’appliquer à d’autres types de tâches. Le test ne suffit pas non plus à trancher sur toutes les façons d’organiser une équipe d’agents. Pour un usage concret, la comparaison devrait porter sur le travail visé, son coût et le temps que l’on peut accepter d’y consacrer.

SSacha

Le premier repère, c’est que le travail en équipe n’apporte pas automatiquement un meilleur résultat. Dans cette étude, les équipes coûtent entre 1,8 et 5,1 fois plus cher, et un seul des 4 réglages testés améliore significativement le score. Pour GPT 6 Sol, augmenter l’effort de raisonnement en solo apporte 11,4 points, contre 7,3 points en ajoutant une équipe à effort moyen. Cela rappelle qu’il existe plusieurs leviers, et qu’ajouter des agents n’est pas toujours le plus avantageux. Il faut regarder ensemble le score, la facture et le temps nécessaire : un résultat de 93,2 % peut être intéressant, mais la configuration qui l’obtient coûte 122 dollars et prend 174 minutes par application. Mais ces comparaisons restent attachées à des modèles et à des conditions précises. Vals AI met en garde contre une généralisation à d’autres tâches, car l’évaluation ne porte que sur des applications web complètes. Le bon enseignement n’est donc pas que les équipes sont inutiles ou indispensables. C’est qu’il faut mesurer leur apport sur le travail concerné, au lieu de supposer que davantage d’agents signifie automatiquement davantage de qualité.