Baidu publie ERNIE 5.5 Flash Base

NNoor

Alors, l’équipe ERNIE de Baidu a annoncé jeudi la publication des poids téléchargeables de ce modèle, d’après Unite.AI. C’est un checkpoint brut, arrêté à la fin du pré-entraînement : il n’a reçu ni entraînement intermédiaire ni post-entraînement, et n’a donc pas été ajusté pour suivre des instructions. Il compte 280 milliards de paramètres au total, dont 14 milliards sont activés pour chaque jeton traité. Dans un modèle à mélange d’experts, différents sous-réseaux spécialisés sont disponibles, mais seule une partie est mobilisée pour traiter chaque jeton ; le nombre total de paramètres et le calcul engagé à chaque étape ne désignent donc pas la même chose. Baidu indique que le pré-entraînement a porté sur 33 500 milliards de jetons, avec un contexte allant jusqu’à 128 000 jetons pendant cette phase. Pour le fine-tuning et l’inférence, la longueur de contexte annoncée peut atteindre 1 048 576 jetons, ce qui correspond à une capacité prévue pour des usages ultérieurs, et non à la longueur du contexte de pré-entraînement. Les poids sont proposés aux formats FP8 et BF16 sous une licence personnalisée, qui encadre leur utilisation, leur modification et leur redistribution. Il faut donc lire ses conditions avant d’adopter le modèle : la disponibilité des poids ne signifie pas que tous les usages sont libres de toute restriction.

NNoor

Le modèle comporte 43 couches et une dimension cachée de 4 096. Son tokenizer compte 201 216 entrées, et Baidu indique l’avoir pré-entraîné à partir de zéro avec l’optimiseur Muon. Dans les couches de mélange d’experts, le réseau dispose de 512 experts routés ; 10 sont sélectionnés pour chaque jeton, avec en plus un expert partagé par couche concernée. Le jeton ne sollicite donc pas en même temps les 280 milliards de paramètres : la sélection d’experts contribue à limiter le calcul mobilisé à chaque étape, ce qui éclaire le chiffre de 14 milliards de paramètres actifs. L’attention est organisée en deux types de couches : 37 utilisent une attention fortement compressée et 6 associent attention latente multi-tête et attention éparse dynamique. AlphaSignal décrit cette combinaison comme un moyen de réduire notamment le cache des clés et des valeurs, une mémoire intermédiaire utilisée au cours du traitement. C’est un élément important pour comprendre l’ambition de traiter de longues séquences, mais la longueur maximale annoncée ne suffit pas à connaître le coût réel d’un usage : les informations publiées ici ne donnent pas une mesure complète des ressources nécessaires. Il faut aussi distinguer les deux contextes : le pré-entraînement est allé jusqu’à 128 000 jetons, tandis que la limite annoncée pour le fine-tuning et l’inférence est de 1 048 576. Cette architecture décrit donc des choix de conception et des capacités visées, pas une garantie que toute équipe pourra exploiter facilement le contexte maximal.

NNoor

Baidu présente ce checkpoint comme un point de départ pour les équipes qui souhaitent adapter un modèle plutôt que recevoir un assistant déjà réglé. Les usages cités comprennent l’adaptation à un domaine, l’ajustement pour le suivi d’instructions et la recherche sur l’apprentissage par renforcement. Une équipe pourrait, par exemple, poursuivre l’entraînement sur des données propres à son secteur, ou étudier comment différentes méthodes modifient les réponses du modèle ; ce sont des pistes rendues possibles par le checkpoint, pas des résultats garantis par sa simple publication. Le fait de partir de la fin du pré-entraînement donne aux équipes un socle commun, sans ajustement conversationnel préalable à prendre en compte. Baidu présente également la publication comme un moyen de comparer de façon contrôlée différentes méthodes d’entraînement à partir du même point de départ. Bon, cette liberté a une contrepartie concrète. Le modèle n’est pas livré avec un comportement conversationnel ni un alignement de sécurité prêts à l’emploi, et les équipes doivent donc concevoir puis évaluer elles-mêmes les étapes qui correspondent à leur usage. La publication donne accès à des poids et à un socle de recherche ; elle ne fournit pas, à elle seule, un assistant immédiatement prêt à être proposé au public.

NNoor

Les résultats disponibles sont présentés par Baidu, et cette provenance compte pour les interpréter. MarkTechPost indique que l’entreprise revendique les meilleurs résultats sur 24 des 30 benchmarks de modèles de base évalués dans son pipeline unifié ; ces résultats sont autodéclarés. Sur MMLU-Pro, le score rapporté pour ERNIE est de 78,4, contre 69,2 pour DeepSeek-V4-Flash-Base. Mais l’écart s’inverse sur HELMET-Rerank : ERNIE obtient 56,2, tandis que DeepSeek-V4-Flash-Base atteint 60,0. Ces deux comparaisons montrent pourquoi un classement général ne suffit pas à décrire les performances : le résultat dépend de la tâche mesurée. Baidu indique aussi que son modèle devance DeepSeek-V4-Flash, Hy3-preview et MiMo-V2.5 sur MMLU-Pro, GPQA, HumanEval+ et LiveCodeBench. Ce sont des évaluations revendiquées par l’entreprise ; les éléments rapportés ne permettent pas de les présenter comme une validation indépendante. Il faut également garder en tête que le checkpoint évalué est un modèle de base, sans post-entraînement : ses scores ne décrivent pas nécessairement le comportement d’une version adaptée ou d’un assistant final. Les chiffres donnent des repères comparatifs, mais ne remplacent ni une évaluation adaptée au contexte d’emploi ni une vérification des conditions de licence. Cette prudence est particulièrement utile lorsque les scores diffèrent d’une tâche à l’autre et que les résultats proviennent du pipeline de l’entreprise qui publie le modèle.

NNoor

L’essentiel est de distinguer un modèle de base d’un assistant complet. ERNIE 5.5 Flash Base met à disposition 280 milliards de paramètres, dont 14 milliards sont activés par jeton, et laisse aux équipes le choix des adaptations à réaliser ensuite. Il peut servir à des travaux de recherche, à l’ajustement pour suivre des instructions ou à l’adaptation à un domaine, mais ces possibilités supposent du temps et des compétences pour entraîner et évaluer le modèle. La longueur de contexte annoncée peut atteindre 1 048 576 jetons en fine-tuning et en inférence, alors que le contexte du pré-entraînement allait jusqu’à 128 000 jetons. Les résultats de benchmarks donnent des indications, avec des scores contrastés selon les tâches, mais ils sont présentés par Baidu dans son propre pipeline d’évaluation et sont autodéclarés. La licence personnalisée est également un élément concret à examiner avant d’utiliser, de modifier ou de redistribuer les poids. Enfin, le modèle ne comporte pas de comportement conversationnel ni d’alignement de sécurité prêts à l’emploi : les équipes doivent définir et tester ces aspects elles-mêmes. Baidu propose donc un socle technique et une base commune pour comparer des méthodes d’entraînement, plutôt qu’un outil immédiatement prêt à être utilisé comme assistant. La publication peut intéresser les équipes capables de poursuivre le travail, mais elle leur transfère une part importante de l’adaptation et de l’évaluation. C’est cette combinaison qu’il faut garder en tête : un modèle de grande taille, une fraction de paramètres activée pour chaque jeton, et une grande liberté de post-entraînement qui s’accompagne de responsabilités pratiques.