RRSI, encadrer l’auto-amélioration des agents IA

TThéa

Alors, le point de départ est un problème assez concret : un agent peut progresser sur les exercices qu’on lui donne, sans devenir réellement meilleur sur des tâches qu’il n’a jamais rencontrées. Les chercheurs décrivent des systèmes qui réécrivent eux-mêmes leur environnement de travail, puis utilisent les résultats obtenus pour proposer de nouvelles modifications. Cet environnement, souvent appelé harnais, organise les instructions, les outils, la mémoire et les étapes suivies par l’agent. Il détermine par exemple comment celui-ci s’y prend pour traiter une tâche et présenter son résultat. RRSI est une méthode de régularisation de l’amélioration récursive des harnais d’agents. L’objectif n’est donc pas de changer directement le modèle de langage, mais de mieux contrôler les changements apportés autour de lui. C’est une distinction importante : un agent n’est pas seulement un modèle, il dépend aussi de la manière dont on organise son travail. Les chercheurs veulent éviter que cette organisation finisse par être réglée uniquement pour réussir un petit ensemble de tests.

TThéa

La méthode agit à deux moments du processus. D’abord, elle plafonne le nombre de modifications indépendantes réunies dans une même proposition. Ensuite, ce budget d’édition diminue progressivement. Au début, l’agent peut tenter des transformations plus importantes ; plus tard, il doit privilégier des retouches plus limitées. Un mécanisme de critique examine également les changements proposés et écarte ceux qui inscrivent directement dans le harnais le nom d’une tâche, sa solution ou une astuce propre à un benchmark. En clair, l’agent ne doit pas gagner simplement parce qu’il a mémorisé la réponse attendue pour un test particulier. La méthode ne fige pas pour autant son environnement : celui-ci reste modifiable, mais les modifications sont davantage contenues et examinées. Les chercheurs décrivent donc une régularisation, c’est-à-dire des règles qui encadrent l’optimisation. Le but est de favoriser des ajustements utiles au-delà d’un seul exercice.

TThéa

L’évaluation couvre 8 benchmarks, dans des domaines différents : la programmation, les tâches de bureau réalisées par des agents, et la conception en ingénierie, d’après Brief IA. Les chercheurs rapportent jusqu’à 14,1 points de gain sur les tâches utilisées pendant l’entraînement. Mais l’enjeu est aussi de vérifier ce qui se passe sur des exercices nouveaux, que l’agent n’a pas utilisés pour s’améliorer. Sur les benchmarks inédits, les chercheurs rapportent une hausse pouvant atteindre 4,7 points, d’après The Decoder. Ce chiffre est un maximum, et non la promesse d’une progression identique sur chaque tâche. La comparaison porte aussi sur la quantité de jetons consommés à l’exécution : la méthode en utilise environ 30 % de moins qu’une variante sans régularisation, d’après les résultats présentés par The Decoder. Autrement dit, les chercheurs annoncent à la fois des scores plus élevés sur certains tests et une utilisation plus économe des jetons. Ces deux résultats ne suffisent pas, à eux seuls, à établir que la méthode fonctionnera de la même façon dans tous les contextes. Ils donnent cependant une première mesure de son intérêt, sur plusieurs catégories d’épreuves plutôt que sur un seul type de problème.

TThéa

Le risque, c’est une progression qui paraît convaincante, mais qui reste enfermée dans les exercices connus. Quand l’agent modifie son harnais en boucle à partir des résultats d’un ensemble restreint de tests, il peut apprendre les particularités de ces tests plutôt que des méthodes plus générales. Les chercheurs décrivent aussi des candidats qui obtiennent de bons scores par hasard, puis sont favorisés par le processus d’optimisation. Une autre dérive consiste à ajouter de la complexité, ce qui peut améliorer artificiellement le résultat sur les épreuves ciblées sans rendre l’agent plus performant ailleurs. Dans ce scénario, les scores d’entraînement montent, alors que les progrès sur des tâches nouvelles s’atténuent ou disparaissent. C’est précisément pourquoi une bonne performance sur les tests déjà utilisés ne suffit pas à démontrer une amélioration générale. RRSI cherche à réduire ce décalage en limitant les modifications et en rejetant les astuces liées à un benchmark précis. La question est donc moins de savoir si l’agent peut encore optimiser son environnement que de vérifier si les changements obtenus restent utiles quand les tâches changent.

TThéa

Les chercheurs rapportent un résultat intéressant sur ce point. Un harnais de programmation optimisé avec Gemini 3.5 Flash a ensuite amélioré la précision de Gemini 3.1 Flash Lite, sans autre modification. Le gain rapporté est compris entre 11,2 et 14,6 points. Cela suggère que certaines améliorations du harnais peuvent profiter à un modèle différent de celui qui a servi à les découvrir. La portée de cette observation reste toutefois liée à l’expérience décrite : elle ne signifie pas que tout progrès obtenu avec un modèle se transférera automatiquement à tous les autres. Mais elle appuie l’idée que le comportement d’un agent dépend aussi de son environnement de travail, pas seulement des capacités du modèle de langage lui-même. Si une organisation des outils ou des étapes aide à mieux résoudre une tâche, elle peut donc avoir de la valeur même lorsque le modèle sous-jacent change. C’est l’un des aspects les plus importants de la proposition : chercher des mécanismes de travail réutilisables, plutôt que de miser uniquement sur un modèle plus puissant.

TThéa

D’abord, les résultats sont ceux d’une évaluation sur 8 benchmarks, et ils ne permettent pas de conclure que RRSI résout tous les problèmes d’auto-amélioration. Les gains annoncés varient selon les tâches, et le principal enjeu reste de confirmer que les progrès observés se maintiennent dans d’autres situations. Ensuite, les résultats rapportés par les chercheurs ne sont pas la même chose qu’une garantie indépendante de performance dans un usage réel. Il faut donc retenir les chiffres comme des résultats expérimentaux, avec leur périmètre, et non comme une promesse universelle. Cela dit, la méthode s’attaque à un problème central des agents qui apprennent en boucle : quand ils se règlent sur leurs tests, ils risquent de confondre mémorisation et progrès. RRSI propose de contenir les changements, de les rendre plus ciblés au fil du temps et d’écarter les modifications trop spécifiques. Le code a été publié, ce qui permet à d’autres équipes d’examiner et de tester la méthode. Le résultat à suivre sera sa capacité à conserver des gains sur des tâches réellement nouvelles, sans transformer l’agent en spécialiste de ses seuls exercices d’évaluation.