RRSI, encadrer l’auto-amélioration des agents

TThéa

Google Cloud AI Research et des chercheurs de plusieurs universités proposent RRSI, une méthode destinée à empêcher les agents d’intelligence artificielle de mémoriser leurs tests au lieu de progresser sur des tâches nouvelles, selon The Decoder. RRSI concerne le harnais de l’agent, c’est-à-dire l’organisation qui encadre le modèle : consignes, outils, mémoire et logique de travail. Des méthodes automatisées demandent à un modèle de réécrire ce harnais à partir des résultats obtenus, puis recommencent le cycle. Cette amélioration récursive peut modifier le comportement de l’agent sans changer son modèle. Mais les chercheurs relèvent un risque : à force de s’optimiser sur les mêmes exercices, un agent peut retenir leurs particularités. Son score augmente alors sur les tests connus, sans nécessairement s’améliorer sur des tâches inédites.

TThéa

RRSI encadre les modifications du harnais sans le figer. La méthode limite le nombre de changements indépendants proposés à la fois, puis réduit progressivement ce budget. Un critique examine aussi chaque proposition et écarte celles qui inscrivent dans le harnais des tâches ou des solutions propres aux tests. L’enjeu est de distinguer une amélioration générale d’une adaptation aux exercices utilisés pour l’évaluation. Le harnais peut influencer la façon dont l’agent mobilise ses outils et organise son travail. Si ses changements sont dictés par un petit ensemble de tests, le score obtenu sur ces tests ne suffit pas à établir qu’il réussira ailleurs. Les chercheurs ont évalué la méthode sur 8 benchmarks couvrant la programmation, les tâches de bureau réalisées par des agents et la conception en ingénierie, d’après Brief IA.

TThéa

Les chercheurs rapportent jusqu’à 14,1 points de gain sur les tâches d’entraînement et jusqu’à 4,7 points sur des benchmarks inédits. Ils indiquent aussi que RRSI utilise environ 30 % de jetons en moins qu’une variante sans régularisation. Un autre résultat concerne le transfert entre modèles. Un harnais de programmation optimisé avec Gemini 3.5 Flash a amélioré de 11,2 à 14,6 points la précision de Gemini 3.1 Flash Lite, sans modification supplémentaire du modèle. Les chercheurs rapportent ainsi que les mécanismes trouvés peuvent aussi bénéficier à un modèle plus faible. Le code de RRSI a été publié. Les résultats rapportés portent sur les benchmarks évalués : ils montrent des gains sur des tâches nouvelles, mais ne permettent pas d’affirmer que la méthode fonctionne dans toutes les situations. À retenir, RRSI cherche à améliorer l’organisation du travail des agents tout en limitant leur tendance à apprendre leurs tests par cœur.

TThéa

Il faut toutefois distinguer ces résultats d’une preuve que la méthode fonctionnerait dans toutes les situations. Les chiffres décrivent une évaluation sur 8 benchmarks et des gains qui varient selon les tâches. Les éléments disponibles ne donnent pas ici de garantie pour d’autres domaines, ni de mesure des effets à long terme. Il faudra donc regarder si ces résultats se retrouvent dans d’autres évaluations et avec d’autres usages. Le code de RRSI a été publié. Cela permet à d’autres équipes d’examiner la méthode et de la tester, mais ne constitue pas, à lui seul, une validation indépendante de ses performances. À retenir : RRSI ne rend pas directement le modèle plus puissant. La méthode encadre plutôt les modifications de son environnement de travail, pour réduire le risque qu’un agent apprenne simplement ses tests. Les premiers résultats rapportés montrent des progrès sur des tâches inédites, ainsi qu’un transfert vers un modèle plus faible. La question centrale reste celle de la généralisation : est-ce que l’agent progresse vraiment, ou est-ce qu’il s’adapte seulement aux exercices qu’on lui présente ?