Une diffusion moins binaire pour le contexte des modèles de langage

MMarc

Les auteurs d’un travail présenté sur arXiv proposent de rendre moins binaire la confiance accordée au contexte dans les modèles de diffusion discrète pour le langage, en distinguant ce contexte des positions encore à compléter. Pendant l’entraînement, les positions manquantes suivent une dynamique de corruption absorbante, tandis que le contexte subit de faibles substitutions aléatoires, selon des taux différents pour ces deux régions du texte. La méthode combine ainsi un noyau absorbant pour les éléments à générer et un noyau de mélange uniforme pour le contexte, au lieu de soumettre ces régions à une dynamique identique. À l’inférence, l’échantillonneur peut réinjecter du bruit dans des éléments du contexte qu’il juge suspects, selon une heuristique, plutôt que de les maintenir nécessairement inchangés pendant toute la génération. Cette réintroduction du bruit devient progressivement moins intense, puis l’échantillonneur cesse de modifier ces éléments vers la fin de la génération. La méthode est évaluée après 8 000 étapes d’affinage d’un modèle de diffusion masquée préentraîné, qui compte 170 millions de paramètres. Ces chiffres décrivent le cadre de l’évaluation ; ils ne suffisent pas, à eux seuls, à établir un gain de performance. Le travail présente donc une stratégie où les positions manquantes et le contexte suivent des traitements distincts, avec une révision temporaire possible des éléments de contexte jugés suspects avant leur stabilisation en fin de génération.