ACE : des agents qui apprennent en modifiant leur contexte

TThéa

ACE cherche à améliorer des agents fondés sur des modèles de langage en actualisant un playbook de contexte, d’après Brief IA. Ce playbook rassemble des repères que l’agent peut mobiliser pendant une tâche, tandis que les poids du modèle, c’est-à-dire ses paramètres internes, restent inchangés. L’adaptation se fait donc dans les informations qui accompagnent le modèle, et non en réentraînant celui-ci pour modifier ses paramètres. L’agent peut réutiliser des règles inscrites dans ce contexte, mais cela ne signifie pas que les poids du modèle ont été modifiés ni qu’il a été réentraîné. Alors, la distinction est importante : ACE propose une mémoire de travail qui évolue avec les tâches, plutôt qu’une modification du modèle lui-même. L’enjeu est de rendre ces repères utiles et réutilisables, sans confondre leur mise à jour avec un changement des capacités internes du modèle.

TThéa

La boucle ACE répartit le travail entre trois rôles, qui transforment une tâche et le retour reçu en une mise à jour du playbook. Le Générateur réalise d’abord la tâche à partir des repères déjà disponibles. Le Réflecteur examine ensuite cette tentative et le retour associé pour en tirer un enseignement. Le Conservateur transforme cet enseignement en une mise à jour concise, qui peut être intégrée au playbook. On a donc une succession bien définie : produire une réponse, l’analyser, puis décider comment faire évoluer les repères de l’agent. Ce partage des fonctions distingue l’exécution de la tâche de l’analyse du résultat, mais la qualité de cette analyse compte pour la suite. Si le retour ne permet pas de tirer une conclusion fiable, la mise à jour risque de transmettre une mauvaise leçon plutôt qu’un conseil utile.

TThéa

Le playbook est constitué d’entrées modulaires, plutôt que d’un seul bloc de consignes qu’il faudrait réécrire en entier. Certaines entrées portent sur l’usage des outils, d’autres sur du code réutilisable ou sur le dépannage. Elles peuvent être ajoutées, modifiées, fusionnées ou supprimées, et des indicateurs signalent leur utilité ou leur nocivité. L’exemple donné concerne l’extraction d’une facture : si l’agent repère un champ nommé next_page, une règle pourrait lui demander de le suivre jusqu’à ce qu’il soit vide avant de calculer le total. C’est une illustration du fonctionnement envisagé, pas le récit d’une tâche réellement exécutée. Cette structure permet de mettre à jour une règle particulière sans remplacer tout le contexte, et de tenir compte de ce qui semble aider ou nuire. Elle permet ainsi de faire évoluer des entrées ciblées du playbook.

TThéa

Les évaluations portent sur l’adaptation hors ligne, où le playbook est préparé avant les tests, et sur l’adaptation en ligne, où l’agent met à jour ses repères au fil des tâches. Les essais mentionnés comprennent AppWorld et FiNER. Dans ces évaluations, ACE obtient des gains de vitesse et de coût par rapport à certaines méthodes, dont GEPA et Dynamic Cheatsheet. Sur AppWorld, la version complète dépasse aussi des variantes d’adaptation multi-époques et une variante avec Réflecteur dédié. Ces résultats décrivent les comparaisons réalisées dans les évaluations citées ; ils ne suffisent pas à établir que les mêmes gains se retrouveront dans toute application. Le bilan est donc favorable sur ces tests, mais il reste lié aux méthodes comparées et aux conditions d’évaluation.

TThéa

Une limite importante concerne la fiabilité du retour qui sert à corriger le playbook. Si le signal est faible ou peu fiable, le Réflecteur peut en tirer une règle erronée, que le Conservateur inscrit ensuite dans les repères de l’agent. L’agent risque alors de reproduire cette erreur au lieu de progresser. Un cas ponctuel sur AppWorld illustre ce risque : un Dynamic Cheatsheet est passé de 18 282 tokens à 122, tandis que la précision rapportée a chuté de 66,7 % à 57,1 %. Ce résultat isolé ne constitue pas un taux d’échec général, mais montre qu’une forte réduction du contexte ne garantit pas une meilleure précision. Un retour faible peut aussi polluer un playbook sur FiNER ; la qualité du signal est donc déterminante pour que les enseignements conservés soient réellement utiles.

TThéa

ACE propose d’améliorer le comportement d’agents sans modifier les poids de leur modèle, en faisant évoluer un playbook composé de règles modulaires. Sa boucle associe un Générateur, un Réflecteur et un Conservateur, qui transforme les enseignements issus des tâches en mises à jour réutilisables. Les évaluations sur AppWorld et FiNER rapportent des gains de vitesse et de coût face à certaines méthodes, mais ces résultats concernent les comparaisons réalisées dans ces tests. La méthode dépend aussi de la qualité du retour : un signal fragile peut conduire à inscrire une règle erronée, puis à la reproduire. Le point essentiel est donc de ne pas confondre mémoire mise à jour et progrès garanti. ACE présente une piste d’adaptation par le contexte, dont les résultats rapportés doivent être mis en regard de cette limite.