Des Transformers bouclés pour raisonner davantage

OOndine

Turing Post présente dimanche des architectures de Transformers bouclés qui réutilisent certaines couches pour effectuer davantage de calcul sans multiplier les paramètres. Le principe est de reprendre des éléments déjà présents dans le modèle, au lieu d’ajouter de nouvelles couches à chaque étape, ce qui peut réduire la mémoire nécessaire au stockage des paramètres. En contrepartie, chaque passage supplémentaire mobilise du temps de calcul : l’économie porte donc sur les paramètres, pas sur le coût de chaque opération. Le Recurrent Looped Transformer, proposé par des chercheurs de Princeton et de l’Université de Pennsylvanie, associe un encodeur causal qui construit une mémoire d’entrée à un décodeur récurrent qui met à jour un état à chaque jeton. Le Looped Prediction Transformer, présenté par Cornell et IBM Research, réutilise la mémoire d’attention constituée au premier passage, et une variante hybride combine attention complète et couches DeltaNet à portes. Ses passages ultérieurs s’appuient fortement sur cette mémoire partagée, qui donne aussi aux gradients d’entraînement un chemin plus direct vers le premier passage.