Mélange d'experts

TThéa

Le mélange d’experts, en intelligence artificielle, désigne une architecture où plusieurs sous-réseaux traitent une entrée, et où un mécanisme de routage sélectionne ceux qui interviennent. Imaginez un atelier avec plusieurs artisans : un répartiteur envoie chaque demande aux personnes les mieux placées, au lieu de faire travailler tout le monde. Dans un modèle, ces experts sont des groupes de paramètres appris pendant l’entraînement ; ils ne sont pas forcément spécialisés de façon nette, même si le système répartit certains signaux entre eux. Cette organisation peut augmenter la capacité du modèle sans mobiliser tous ses paramètres pour chaque calcul, et donc améliorer l’efficacité. Mais les experts ne comprennent pas leurs rôles comme des humains : leurs spécialisations peuvent rester floues, et répartir la charge entre eux est un défi technique.