« Attention Is All You Need »

CCapucine

En 2017, des chercheurs de Google publient un article intitulé « Attention Is All You Need ». Dans cet article, ils présentent une architecture qu’ils nomment Transformer. Ils expliquent que cette architecture repose sur un mécanisme appelé l’attention. Le titre de l’article, le nom de l’architecture et celui du mécanisme renvoient donc à trois éléments distincts : « Attention Is All You Need » est le titre, Transformer est l’architecture, et l’attention est le mécanisme sur lequel elle repose. Le point central de leur présentation est cette architecture Transformer, fondée sur l’attention. Ce n’est pas le titre qui désigne l’architecture, ni le nom du mécanisme qui remplace celui de l’architecture : les chercheurs présentent Transformer, et décrivent le rôle de l’attention dans cette architecture. Ce moment compte aussi par ce qui lui succède dans l’usage de cette architecture. Les grands modèles de langage d’aujourd’hui reposent sur Transformer. Ainsi, l’architecture présentée par les chercheurs de Google en 2017 se retrouve à la base des grands modèles de langage actuels. Le lien entre cet article et l’intelligence artificielle d’aujourd’hui passe donc par cette continuité : l’article présente Transformer, et les grands modèles de langage d’aujourd’hui reposent sur cette architecture.