Vocabulaire d'un modèle

TThéa

Le vocabulaire d'un modèle, c'est l'ensemble des unités de texte qu'il traite, appelées tokens : des mots entiers, des morceaux de mots, des signes ou des espaces. Imagine une phrase découpée comme un train en wagons : un mot courant peut tenir dans un wagon, tandis qu'un mot rare peut en occuper plusieurs. Ce découpage permet au modèle de traiter des textes variés, mais influe sur le nombre d'unités nécessaires et donc sur la mémoire et le coût du calcul. Un vocabulaire adapté à une langue peut rendre son traitement plus efficace. Mais ce n'est pas un dictionnaire ni une preuve de compréhension : le modèle assemble des unités pour produire des suites de texte probables, et le découpage change selon le modèle.