Weco teste la modification automatisée d’un agent

MMarc

Weco a laissé, dans l’expérience AIDE², un agent de programmation modifier pendant huit jours le dispositif qui encadrait un autre agent, sans changer le modèle de langage sous-jacent, selon Machine Learning Street Talk. Ce dispositif comprenait le code, les instructions et les outils de cet autre agent ; son modèle de langage sous-jacent, lui, est resté inchangé pendant l’expérience. L’évaluation a notamment porté sur des données mises de côté, sans que cela suffise à établir à lui seul l’origine des gains annoncés. Dans l’entretien, Zhengyao Jiang examine aussi la possibilité que les progrès mesurés viennent d’une manière de contourner la fonction de récompense, plutôt que d’une amélioration réelle des capacités de l’agent. Weco présente des gains qui seraient comparables à deux années d’ingénierie humaine ; cette estimation et sa portée restent discutées dans l’entretien, et elles ne sont pas établies par une validation indépendante. Jiang souligne toutefois que l’expérience ne démontre pas que le système soit devenu meilleur pour s’améliorer lui-même : un agent a modifié l’environnement d’un autre, et non nécessairement ses propres mécanismes. La limite tient aussi au cadre de la recherche : l’espace de recherche et les primitives disponibles ont été conçus par des humains, ce qui contraint la découverte de nouvelles idées. Autrement dit, l’expérience montre une modification automatisée du dispositif de travail et des résultats évalués, mais pas une capacité démontrée à élargir de lui-même l’espace de recherche et les primitives.