EXAONE 3.5, un modèle compact très téléchargé

EElias

Alors, le chiffre est impressionnant, mais il faut d’abord le lire correctement. D’après AlphaSignal, la page du modèle sur Hugging Face affichait plus de 849 000 téléchargements mensuels, un chiffre qui approchait le million. Hugging Face comptabilise des requêtes, pas des personnes distinctes. Une même personne peut donc générer plusieurs requêtes, et ce total ne permet pas non plus de connaître le nombre de déploiements uniques. Ce chiffre témoigne d’un volume important de requêtes sur la page, mais ne permet pas de conclure à l’adoption du modèle ni à son succès commercial.

EElias

La clé, c’est une technique appelée quantification, qui réduit la précision avec laquelle les poids du modèle sont stockés. Dans cette version, la méthode AWQ W4A16 conserve les activations en 16 bits, mais stocke les poids en 4 bits. Imaginez une bibliothèque où les livres prennent moins de place parce que leur contenu est encodé plus compactement, sans que l’on change pour autant le plan du bâtiment. Les fichiers des poids occupent ainsi environ 5 gigaoctets. C’est ce qui rend le modèle plus accessible à des configurations locales que des poids non compressés. Mais attention, cette économie concerne les poids eux-mêmes : elle ne donne pas, à elle seule, la mémoire totale qu’il faut pour faire tourner le modèle.

EElias

EXAONE 3.5 conserve une fenêtre de contexte configurée à 32 768 tokens. Cette valeur désigne la longueur maximale de séquence prise en charge, en comptant les éléments fournis au modèle et ceux qu’il génère. Elle donne donc une indication sur la quantité de contexte que le modèle peut traiter, sans garantir que cette longueur soit utilisable avec n’importe quelle configuration matérielle. En inférence, la mémoire ne sert pas uniquement à stocker les poids : le cache clé-valeur, qui conserve des informations intermédiaires utiles au traitement de la séquence, peut aussi en mobiliser. La mémoire nécessaire peut donc dépasser les quelque 5 gigaoctets occupés par les poids. En fait, une grande fenêtre, c’est comme une grande table de travail : elle offre de la place, mais il faut aussi de l’espace pour les outils qu’on y utilise.

EElias

EXAONE 3.5 est une famille de modèles bilingues coréen-anglais. Elle comprend des versions de 2,4, 7,8 et 32 milliards de paramètres. Celle qui approche le million de téléchargements mensuels est la version de 7,8 milliards, dans une variante quantifiée appelée AWQ W4A16. Cette quantification réduit les poids à environ 5 gigaoctets, tandis que la fenêtre de contexte reste configurée à 32 768 tokens. On a donc, dans cette famille, plusieurs tailles de modèles et, pour cette version précise, une empreinte de poids réduite qui ne résume pas à elle seule les besoins de mémoire à l’exécution.

EElias

La première limite est matérielle : environ 5 gigaoctets pour les poids ne signifie pas qu’une machine disposant de cette seule quantité de mémoire pourra mener une inférence complète. La mémoire nécessaire peut être supérieure, notamment à cause du cache clé-valeur, et la fenêtre de contexte configurée atteint 32 768 tokens. La deuxième limite concerne les conditions d’utilisation. La licence EXAONE 1.1 NC est réservée à la recherche. Pour un usage commercial, il faut contacter directement LG AI Research. Une organisation qui envisage un tel usage doit donc vérifier cette condition auprès de l’entreprise avant de l’adopter commercialement.

EElias

Il faut retenir un ensemble assez concret : un modèle coréen-anglais, une version de 7,8 milliards de paramètres et des poids réduits à environ 5 gigaoctets grâce à la quantification. Sa fenêtre de 32 768 tokens est notable, mais elle ne signifie pas que l’inférence tient dans la mémoire occupée par les poids. Et le compteur de Hugging Face, qui dépassait 849 000 téléchargements mensuels, mesure des requêtes plutôt que des utilisateurs uniques. C’est donc un indicateur d’intérêt, pas un décompte d’adoptants. Enfin, pour la recherche, la licence annoncée permet cet usage, tandis qu’un projet commercial doit passer par LG AI Research. Bref, le modèle combine une empreinte de poids réduite et un contexte long, mais son intérêt pratique dépend du matériel disponible et du cadre d’utilisation.