Architecture Transformer

CCapucine

L’architecture Transformer, c’est une façon de construire un modèle d’intelligence artificielle qui repère les liens entre les éléments d’une séquence, plutôt que de les traiter seulement l’un après l’autre. Son mécanisme d’attention aide le modèle à sélectionner, pour chaque élément, les autres qui éclairent son sens. C’est comme suivre une conversation : si quelqu’un dit qu’un objet est tombé puis qu’il s’est cassé, on relie le pronom à l’objet évoqué, même si plusieurs mots les séparent. Cette capacité à mobiliser le contexte aide les modèles à produire du texte plus cohérent et peut aussi servir avec des images ou d’autres données converties en séquences. Mais l’attention n’est pas une compréhension humaine : le modèle peut manquer des liens, reproduire des biais ou générer une réponse convaincante mais fausse.