AT&T publie OTel 2.0, un modèle télécom ouvert de 31 milliards de paramètres

OOndine

AT&T publie sur Hugging Face OTel 2.0, un modèle ouvert de 31 milliards de paramètres adapté aux télécommunications, selon AlphaSignal. Adapté de Gemma 4 31B-IT, il a été post-entraîné sur environ 440 milliards de tokens issus de documents de normes télécoms, et sa licence Apache 2.0 permet sa réutilisation. Le projet a été mené avec Microsoft, AMD, Dell, la GSMA, Red Hat, MLCommons et Pleias, en s’appuyant sur des processeurs graphiques AMD MI300X et MI355X. AT&T vise notamment l’interprétation de normes, l’assistance à l’ingénierie et la génération augmentée par récupération, une méthode qui mobilise des documents pour produire des réponses. Les usages avec des images et des procédures opérationnelles MOP n’ont pas été testés ; leurs résultats restent donc à évaluer. Pour l’entraînement, l’équipe a utilisé QLoRA sur une base quantifiée NF4 en 4 bits, mais le modèle publié est un checkpoint fusionné au format bfloat16, qui pèse 62,5 gigaoctets et ne dépend pas de bitsandbytes, PEFT ou Unsloth pour l’inférence. Son déploiement nécessite vLLM, compatible avec Gemma 4, et 2 processeurs graphiques configurés en parallélisme tensoriel. OTel 2.0 offre ainsi une base ouverte spécialisée, tandis que ses performances sur les images et les procédures du secteur restent à établir.