SympFormer, une autre façon de construire l’attention

LLéna

Des chercheurs présentent SympFormer, une méthode pour construire des blocs d’attention accélérés à partir de dynamiques hamiltoniennes amorties, dans une publication déposée sur arXiv. L’attention est le mécanisme qui aide un modèle de langage à relier les mots d’un texte. Les auteurs partent d’une question : peut-on accélérer ce mécanisme en s’inspirant de lois du mouvement ? Leur idée vient d’une dynamique hamiltonienne amortie, apparentée à la méthode de Nesterov. Pour se la représenter, imaginez un chariot qui descend une pente : il prend de l’élan, mais un frein limite progressivement son mouvement. Les auteurs utilisent ce type de dynamique pour dériver des blocs d’attention accélérés sur des espaces de distributions de probabilité, c’est-à-dire des façons de représenter les différentes possibilités associées aux données. Pour formaliser cette construction, ils proposent plusieurs géométries, autrement dit des règles pour mesurer et décrire ces espaces. Une géométrie à mobilité locale concerne deux cadres associés à Wasserstein et à softmax. Une autre, dite géométrie de Stein quotient, vise un problème de l’attention linéaire : son noyau, l’outil qui détermine comment les éléments interagissent, peut être dégénéré. La nouvelle géométrie permet alors de définir une mesure et un calcul différentiel bien posés. L’article établit les fondements théoriques de ces constructions dans plusieurs cadres liés à l’attention. Pour l’attention linéaire, il établit aussi des conditions qui distinguent une évolution globale d’une explosion en temps fini de la taille quadratique des représentations. Dans des expériences sur TinyStories et OpenWebText, des corrections géométriques apportées aux mises à jour des mots et de leur élan abaissent la perte de validation, par rapport à des contrôles utilisant seulement l’élan. Cette perte mesure l’erreur du modèle lorsqu’il prédit le mot suivant. Les résultats expérimentaux rapportés concernent ces expériences et ne permettent pas de conclure que la méthode améliore tous les modèles ou tous les usages.