Les stratégies de routage des modèles Mixture-of-Experts

OOndine

MarkTechPost publie un guide comparatif de 7 stratégies de routage pour les modèles Mixture-of-Experts, qui sélectionnent les experts chargés de traiter chaque jeton. Ce choix influe sur la qualité des résultats, l’équilibrage de la charge entre les experts et le coût d’inférence, c’est-à-dire le coût de production des réponses par le modèle. Les modèles cités comptent de 8 experts pour Mixtral à 384 pour DeepSeek-V4-Pro, mais n’en activent que de 1 à 8 par jeton. Parmi les méthodes décrites figurent le routage top-k, qui sélectionne plusieurs experts, le routage top-1 à capacité fixe, les experts partagés avec des experts routés, ainsi que le gating sigmoid avec équilibrage par biais sans perte auxiliaire. Le guide évoque aussi le routage par choix d’expert et le routage par hachage, deux autres manières de déterminer quels experts prennent en charge les jetons. Dans un test à 1 milliard de paramètres, l’équilibrage par biais a ramené le MaxVio de 0,72 à 0,04, avec une perplexité plus faible, selon les résultats présentés dans le guide. Le routage par choix d’expert peut toutefois, dans les modèles causaux, révéler des informations sur des jetons futurs ; un test cité aurait observé une baisse anormale de perte d’environ 10 %, présentée comme un possible signe de cette fuite, et non comme une mesure générale des performances des stratégies de routage.