Mécanisme d'attention

TThéa

Le mécanisme d’attention, c’est une méthode qui aide un modèle d’intelligence artificielle à repérer les éléments utiles pour comprendre ou produire une réponse. Imaginez que vous cherchiez une adresse dans un long message : votre regard se concentre sur le nom de la rue et le numéro, plutôt que sur chaque mot. Dans un modèle de langage, ces éléments peuvent être des mots ou des morceaux de mots, que l’attention met en relation pour interpréter le contexte. Cela aide à comprendre qu’un même mot peut avoir des sens différents selon ceux qui l’entourent, et à construire une réponse cohérente avec la demande. Mais cette attention n’est pas une compréhension humaine : elle calcule des relations utiles, sans garantir que la réponse soit juste ni que le modèle saisisse le sens comme une personne.