Octopus coordonne des agents autour d’un modèle partagé

MMarc

Octopus est un cadre de recherche pour l’apprentissage par renforcement multi-agent avec des modèles de langage, présenté dans une publication sur arXiv vendredi. Plusieurs fils d’agents partagent un même modèle et coordonnent leurs états KV dans un graphe orienté acyclique, conservé sur le processeur graphique, ou GPU. Cette organisation relie les différentes branches de travail : le graphe permet de représenter leurs dépendances pendant l’apprentissage, plutôt que de traiter leurs états comme des éléments séparés. Le système vise à éviter la duplication des caches KV entre ces branches, ainsi que le réencodage de résumés textuels et la perte des dépendances au fil de l’apprentissage. Ces trois problèmes sont liés à la manière dont plusieurs fils utilisent un même modèle : Octopus cherche à coordonner leurs états dans le graphe, sans répéter les caches d’une branche à l’autre ni remplacer ces états par des résumés textuels réencodés. Pour organiser cette coordination, le cadre propose 5 primitives, nommées fork, read_thread, wait_threads, rewind et commit. Elles constituent les opérations prévues pour agir sur les fils et leurs états partagés dans le graphe, selon la description d’Octopus. L’approche repose donc sur un modèle commun, des états KV coordonnés sur le GPU et des liens entre branches conservés pendant l’apprentissage par renforcement multi-agent, avec pour objectif de limiter les duplications et les pertes de dépendances.