Tokens d’IA : unité de contexte, de calcul et de facturation

EElias

Alors, un token est une unité de découpage utilisée par les modèles de langage, mais ce n’est pas nécessairement un mot. D’après Clubic, dans un texte, il peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou même à quelques caractères. Imaginez une phrase découpée en petites briques : certaines sont reconnaissables comme des mots, d’autres ne correspondent qu’à une portion de mot ou à un signe. Le découpage intervient avant le traitement par le modèle et permet aussi de compter les éléments reçus et produits. Il ne faut donc pas confondre token et mot, ni supposer que chaque unité porte une quantité fixe d’information. Cette distinction compte déjà pour comprendre pourquoi la longueur d’un texte à l’écran ne donne pas directement le nombre de tokens qu’il contient. Et elle explique aussi pourquoi une même phrase peut être découpée en un nombre différent d’unités d’un modèle à l’autre.

EElias

Le découpage dépend du tokenizer associé au modèle, c’est-à-dire de l’outil qui transforme le texte en unités reconnues par ce système. Une même phrase peut donc être segmentée différemment selon l’intelligence artificielle utilisée. Le nombre de tokens ne suit pas mécaniquement la longueur des mots : il dépend notamment du vocabulaire du tokenizer et de la fréquence des séquences de caractères. Une suite courante peut être reconnue comme une unité, tandis qu’un terme moins fréquent peut être décomposé en plusieurs morceaux. Cela ne veut pas dire qu’un mot long demande toujours plus de tokens qu’un mot court ; le vocabulaire appris par l’outil compte aussi. Clubic donne un repère indicatif d’environ 4 caractères par token pour les tokenizers d’OpenAI, Google et Anthropic, tout en précisant que la langue influe sur le découpage. Ce chiffre aide à se représenter un ordre de grandeur, mais il ne permet pas de calculer exactement le nombre de tokens d’une phrase. En français, en anglais ou dans une autre langue, le résultat dépendra des séquences présentes et de la manière dont elles sont reconnues. Alors, deux textes qui semblent de longueur comparable peuvent ne pas consommer le même nombre de tokens, et deux systèmes peuvent compter différemment un texte identique.

EElias

Les tokens d’entrée regroupent les éléments transmis au modèle : la demande de l’utilisateur, l’historique de la conversation, les instructions et, le cas échéant, les documents fournis. Il ne s’agit donc pas seulement de compter la dernière phrase écrite dans la fenêtre de dialogue. Chaque token est associé à un identifiant numérique, que le modèle utilise dans le calcul de la réponse. À partir de ces éléments, le système produit progressivement des tokens de sortie, qui sont ensuite convertis en texte lisible. On peut se représenter le processus comme une génération pas à pas : le modèle calcule la suite, émet une unité, puis poursuit la réponse. Et la réponse elle-même mobilise des tokens, tout comme la demande et les éléments qui l’accompagnent. Cela aide à comprendre pourquoi un échange long représente davantage qu’une simple consigne isolée : le modèle peut aussi devoir traiter les instructions, les messages antérieurs et les documents associés. Les tokens servent ainsi d’unité de comptage pour une partie essentielle du traitement, sans décrire à eux seuls toutes les opérations internes du modèle.

EElias

Les API facturent les requêtes en fonction du nombre et du type de tokens utilisés. Il faut donc distinguer les tokens d’entrée, qui correspondent aux éléments reçus par le modèle, et les tokens de sortie, qui composent la réponse générée. Les tokens de sortie coûtent souvent davantage que ceux d’entrée, mais le niveau exact dépend du service et des modalités de facturation applicables. Le mécanisme rend la longueur de la demande et celle de la réponse importantes dans le calcul : davantage de texte traité ou produit peut signifier davantage de tokens comptabilisés. L’historique et les documents transmis peuvent également contribuer au volume d’entrée, même si l’utilisateur ne les a pas rédigés dans son dernier message. Cela ne permet pas de déduire ici un prix précis, ni de comparer les tarifs de différents fournisseurs. En pratique, le chiffre à surveiller n’est donc pas seulement le nombre de mots visibles, puisque les tokenizers ne découpent pas tous de la même façon. Retenons surtout que la facturation repose sur un comptage séparant le type de tokens, et que les unités produites par le modèle sont souvent plus coûteuses.

EElias

D’après Brief IA, la fenêtre de contexte correspond aux éléments que le modèle peut prendre en compte simultanément pour traiter une demande. Elle doit accueillir ce qui est transmis, comme le prompt, l’historique, les instructions ou les documents, et le modèle doit aussi produire une réponse. Lorsque l’échange s’allonge, il consomme progressivement une partie de cette capacité. Certaines fenêtres peuvent atteindre 200 000 tokens, mais le chiffre est rapporté sans préciser les modèles concernés ; il ne faut donc pas le présenter comme une limite commune à toutes les IA. Quand la fenêtre est saturée, certains services peuvent écarter, condenser ou tronquer les messages les plus anciens. Le traitement exact dépend du service : les éléments disponibles ne permettent pas de dire que toutes les plateformes appliquent la même méthode. Le risque, en revanche, est concret : si une information ancienne n’est plus prise en compte, le modèle peut perdre le fil, oublier une consigne formulée plus tôt ou manquer un détail déjà donné. La fenêtre de contexte désigne donc une capacité de traitement simultané, pas une garantie que chaque détail d’une longue conversation restera disponible indéfiniment.

EElias

C’est d’abord une unité de découpage dont la forme varie avec le tokenizer, le vocabulaire reconnu et la langue ; la moyenne d’environ 4 caractères citée pour certains outils reste un repère, pas une règle de conversion. C’est ensuite une unité de comptage pour les éléments reçus et générés, qui intervient dans la facturation des API selon le nombre et le type de tokens, avec des sorties souvent plus coûteuses que les entrées. Enfin, le nombre de tokens sert à exprimer une fenêtre de contexte, c’est-à-dire ce que le modèle peut prendre en compte simultanément. L’indication de 200 000 tokens concerne certaines fenêtres évoquées, mais les modèles associés ne sont pas précisés. Dans une conversation qui s’étire, certains services peuvent alors écarter, condenser ou tronquer des messages anciens, avec un risque de perdre une consigne ou une information utile. Les détails sur le cache et les tokens de raisonnement ne sont pas documentés ici : il serait donc imprudent d’en tirer des conclusions. Pour un utilisateur, le geste utile est surtout de comprendre qu’un texte visible n’équivaut pas directement à un nombre fixe de tokens et que tout l’historique n’est pas nécessairement traité en même temps. Pour une entreprise qui utilise une API, le comptage des entrées et des sorties aide à comprendre la facture, sans suffire à lui seul pour établir un tarif précis. Voilà le cadre : une brique de représentation, un repère de capacité et une base de facturation, avec des limites qui dépendent du modèle et du service.