Transformers bouclés : plus de calcul sans plus de paramètres

SSacha

D’après Turing Post, un Transformer bouclé réutilise certaines couches du modèle au lieu de donner à chaque étape un ensemble entièrement distinct de paramètres. On peut se représenter ces couches comme un même atelier que l’information traverse plusieurs fois : à chaque passage, le calcul reprend une représentation déjà travaillée et la met à jour. Dans un Transformer standard, les couches se succèdent, et chacune possède habituellement ses propres paramètres. Ici, l’idée est donc de réutiliser une partie du mécanisme plutôt que d’ajouter systématiquement de nouvelles couches. Cela peut réduire la mémoire consacrée au stockage des paramètres. Mais la boucle n’est pas gratuite : chaque passage supplémentaire demande du temps de calcul, et la méthode ne garantit pas, à elle seule, une amélioration des réponses.

SSacha

Le Recurrent Looped Transformer, ou RLT, proposé par des chercheurs de Princeton et de l’Université de Pennsylvanie, associe deux éléments. Un encodeur causal traite les jetons connus de l’entrée et construit une mémoire commune. Un décodeur récurrent combine ensuite l’information de chaque jeton avec l’état précédent, puis met à jour cet état. Concrètement, on peut imaginer un carnet de suivi : à chaque nouveau morceau de texte, le modèle ajoute ce qu’il apprend à un état déjà construit, au lieu de repartir de zéro. Le Looped Prediction Transformer, ou LPT, présenté par Cornell University et IBM Research, adopte une autre organisation : les passages ultérieurs réutilisent la mémoire d’attention créée au premier passage. Une variante hybride combine attention complète et couches DeltaNet à portes, et cette mémoire partagée donne aussi aux gradients d’entraînement un chemin plus direct vers le premier passage.

SSacha

Le RLT est présenté comme adapté aux tâches où chaque étape dépend de ce qui précède, par exemple suivre un état qui évolue ou effectuer certains calculs arithmétiques. L’intérêt est intuitif : si la réponse dépend d’une suite d’étapes, le modèle peut conserver un état et le faire évoluer au fil des jetons. Pour le LPT, l’usage décrit est la modélisation du langage lorsque la mémoire est limitée, mais qu’un calcul additionnel par jeton reste envisageable. Sa mémoire d’attention réutilisée évite de conserver un contexte complet distinct pour chaque passage. Ce choix pourrait donc convenir lorsque la mémoire des paramètres ou du contexte constitue une contrainte, mais où l’on peut consacrer davantage de calcul à chaque jeton. Il faut toutefois distinguer économie de mémoire et rapidité : les passages supplémentaires restent coûteux en calcul, et les éléments présentés ne chiffrent pas un gain de temps ou une économie précise.

SSacha

La limite la mieux établie est le coût de calcul : réutiliser des paramètres peut économiser de la mémoire, mais chaque tour de boucle supplémentaire demande du travail au modèle. Il serait donc imprécis de conclure que ces systèmes sont nécessairement plus rapides, ou qu’ils améliorent toujours le raisonnement. Turing Post affirme que RecursiveMAS, un système multi-agents associé à des chercheurs de Stanford, de University of Illinois Urbana-Champaign, de NVIDIA et du MIT, aurait été accepté à NeurIPS 2026. Le système ferait échanger des états cachés entre des agents, avec des modules RecursiveLink entraînés et des modèles de base laissés gelés. La source indique que l’agent final produirait la réponse après le dernier échange, sans génération complète de texte à chaque étape intermédiaire, mais ces détails restent rapportés plutôt que confirmés indépendamment ici. En outre, l’article annonce dix types d’architectures, tandis que la présentation disponible s’interrompt au début de RecursiveMAS : elle ne détaille pas les autres pistes et ne permet pas d’évaluer l’ensemble des résultats annoncés.

SSacha

Le point essentiel, c’est que les Transformers bouclés explorent une autre façon d’organiser le calcul : réutiliser des couches ou une mémoire, plutôt que multiplier les paramètres à chaque passage. Dans le RLT, un état se construit et se met à jour au fil des jetons ; dans le LPT, les passages suivants s’appuient sur la mémoire d’attention du premier. Ces exemples montrent deux mécanismes différents, mais ils reposent sur le même principe de réutilisation. Cela peut aider à économiser la mémoire consacrée aux paramètres ou à la mémoire de contexte, sans supprimer le coût du calcul supplémentaire. L’intérêt dépend donc de la tâche, de la mémoire disponible et du temps que l’on peut consacrer au traitement. Pour RecursiveMAS, les éléments décrits sont trop limités pour tirer une conclusion générale sur ses résultats. La piste est intéressante, mais elle ne signifie pas que l’on puisse déjà promettre des modèles plus puissants, plus rapides ou utilisables sur des machines modestes.