Le nombre d’experts ne garantit pas de meilleurs résultats

LLéna

Une étude publiée sur arXiv compare des réseaux denses à experts multiples, et montre que l’effet dépend du nombre d’experts. Les chercheurs gardent constants la largeur totale des réseaux et le calcul, puis comparent un modèle de référence à un expert avec des versions qui en activent plusieurs pour chaque token. Dans ces modèles, une porte softmax combine les experts, tous actifs ; il ne s’agit donc pas de sélectionner seulement quelques experts pour chaque token. Le résultat est non monotone : avec 2 experts, la perte de validation baisse de 0,0048 par rapport au modèle de référence, mais elle augmente de 0,0053 avec 4 experts et de 0,0197 avec 6. Autrement dit, augmenter le nombre d’experts n’améliore pas automatiquement la performance, même lorsque les ressources de calcul et la largeur totale restent les mêmes. Le routage demeure généralement souple et l’utilisation des experts équilibrée ; une exception apparaît toutefois dans la première couche du modèle à 4 experts, où le routage devient presque exclusif. Quand les chercheurs imposent un routage uniforme dans cette couche, la perte augmente de 2,4 nats sur un sous-ensemble diagnostique. À largeur et calcul constants, seule la configuration à 2 experts améliore la perte de validation parmi celles testées.