Token

TThéa

Un token, dans l’intelligence artificielle, c’est une unité de texte que le modèle traite pour lire une demande et construire une réponse. Imaginez une phrase découpée en petites pièces de jeu de construction : certaines correspondent à un mot entier, d’autres à un morceau de mot, à un signe ou à un espace. Le modèle manipule ainsi une suite de morceaux pour repérer des régularités et produire la suite de texte la plus adaptée. Cette unité compte, car la quantité de texte traitée et le coût de certains services se mesurent souvent en tokens, plutôt qu’en mots ou en pages. Mais le découpage varie selon le modèle et la langue : un token n’est pas un mot fixe, et son nombre ne dit pas, à lui seul, si un texte est simple ou complexe.