Microsoft achève le pré-entraînement de MAI-Base-2

MMarc

Microsoft a terminé le pré-entraînement de MAI-Base-2, un modèle destiné à servir de base à ses prochains modèles, selon Le Monde Informatique. Cette étape concerne un modèle à architecture de mélange d’experts, ou MoE, qui compte 2 800 milliards de paramètres au total, dont 80 milliards actifs. Pour cet entraînement, Microsoft a mobilisé 16 000 processeurs graphiques Nvidia GB200 pendant 38 jours, en août et septembre 2026. Selon les mesures communiquées par Microsoft, MAI-Base-2 aurait besoin de 4,2 à 12,3 fois moins d’opérations de calcul en virgule flottante que DeepSeek-V4-Pro-Base pour obtenir des résultats comparables sur plusieurs évaluations. Microsoft le compare aussi à MAI-Base-1 : l’efficacité de calcul serait multipliée par un facteur de 6,3 à 12,7. L’entreprise indique que ses optimisations de l’architecture et de la répartition des calculs ont fait progresser l’utilisation effective des couches MoE, de 24 % à 35 %. Microsoft précise enfin que l’optimiseur Muon représente 2,1 % du temps moyen d’une itération ; en moyenne, les processeurs graphiques ont atteint 21 % de leurs capacités théoriques, et l’entraînement a avancé pendant 89 % du temps.