Tokka-Bench compare les tokeniseurs sur 100 langues et 20 langages de programmation

MMarc

Tokka-Bench est un cadre open source qui évalue les tokeniseurs de modèles de langage, selon arXiv. Il compare 7 tokeniseurs de type BPE dans 100 langues naturelles et 20 langages de programmation, ce qui permet de couvrir des usages linguistiques et informatiques. Son périmètre comprend plus de 30 systèmes d’écriture, et la segmentation est adaptée à chacun d’eux. Cette adaptation accompagne la comparaison de langues dont les écritures sont différentes, sans limiter l’évaluation aux langues naturelles. Le cadre s’appuie sur 5 métriques : les octets par token, la couverture des tokens uniques, la fertilité des sous-mots, le taux de découpage des mots et la composition du vocabulaire. Ces mesures décrivent plusieurs aspects du fonctionnement d’un tokeniseur, depuis la manière dont il découpe les mots jusqu’aux éléments présents dans son vocabulaire. Les systèmes comparés sont GPT-2, GPT-4, gpt-oss, Llama 3.1, Gemma 3, Qwen3 et Kimi K2 ; ils sont évalués avec les mêmes métriques sur le périmètre défini par le benchmark. Les auteurs indiquent que la stratégie d’allocation du vocabulaire compte davantage que sa taille brute : la répartition des éléments du vocabulaire ressort donc comme un facteur plus important que leur nombre total.