Le routage de 10 modèles ouverts comparé

LLéna

MarkTechPost compare le fonctionnement du routage de 10 modèles ouverts dits « mixture of experts », où chaque token sélectionne les experts qui traiteront une partie du calcul. Le principe est commun, mais les choix techniques varient : les modèles mobilisent de 8 à 384 experts et en sélectionnent de 1 à 8 pour chaque token, avec des différences aussi dans les fonctions de score, les experts partagés et l’équilibrage de charge. DeepSeek-V4-Pro compte 384 experts et en sélectionne 6 par token, tandis que Llama 4 Maverick en compte 128 et n’en sélectionne qu’un ; ces architectures n’activent donc pas toutes la même quantité de calcul à chaque étape. Dans les trois premières couches MoE de DeepSeek-V4-Pro et de V4-Flash, le routage par hachage fixe l’affectation des tokens aux experts. Le comparatif rapporte aussi un résultat pour Kimi K2 : à perte de validation égale, le modèle utilise 1,69 fois moins d’opérations de calcul en virgule flottante avec une sparsité de 48 qu’avec une sparsité de 8. Côté matériel, l’article indique que gpt-oss-120b peut tenir sur un processeur graphique de 80 gigaoctets avec le format MXFP4, alors que DeepSeek-V4-Pro et Kimi K2 nécessitent plusieurs processeurs graphiques en parallèle. À retenir : le nombre d’experts ne suffit pas à décrire un modèle, et les informations publiées ne détaillent pas toujours les méthodes d’équilibrage ou les fonctions de score.