RoPE encode la position des tokens
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Ondine
RoPE est une méthode devenue courante pour représenter la position des mots et des fragments de mots dans les grands modèles de langage ; elle a été introduite en 2021 avec RoFormer, selon Brief IA. Cette information de position est indispensable, car le mécanisme d’attention compare des vecteurs par produits scalaires, mais ne révèle pas, à lui seul, l’ordre des tokens. RoPE traite cette limite en faisant tourner les vecteurs de requête et de clé selon la position de chaque token, et répète ce calcul dans chaque couche d’attention. La méthode n’ajoute donc pas simplement un vecteur de position à la représentation initiale du token : elle modifie les vecteurs utilisés par l’attention, en fonction de l’emplacement concerné. GPT-2 suit une autre approche, avec 1 024 vecteurs positionnels appris, un pour chaque emplacement ; cette méthode oblige à fixer la longueur du contexte pendant l’entraînement. Les transformateurs disposent aussi d’un codage sinusoïdal, présenté dans les travaux fondateurs de 2017, qui calcule les positions sans apprendre de paramètres positionnels. Ces approches répondent ainsi au même besoin, mais ne l’encodent pas de la même manière : RoPE inscrit la position dans les vecteurs de requête et de clé au fil des couches d’attention.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.