Journal de 7 h · 19 octobre

LLéna

Des chercheurs proposent une méthode qui traite différemment les positions à compléter et le contexte dans les modèles de diffusion discrète pour le langage, selon arXiv. L’idée est de ne pas appliquer une seule dynamique à toutes les parties du texte. Pendant l’entraînement, les positions manquantes suivent une dynamique dite absorbante. Le contexte, lui, subit de faibles substitutions aléatoires. Les auteurs combinent ainsi 2 types de corruption, avec des taux différents selon les régions. Les positions destinées à être complétées ne sont donc pas traitées comme les éléments de contexte déjà présents. Cette distinction intervient aussi au moment de la génération. L’échantillonneur peut réinjecter du bruit dans des éléments de contexte qu’il juge suspects. L’intensité du bruit décroît au fil de la génération, puis l’échantillonneur cesse de modifier ces éléments vers la fin. Le contexte peut donc être soumis à des changements pendant une partie du processus, avant que cette possibilité soit arrêtée. La corruption du contexte pendant l’entraînement et la réinjection de bruit pendant la génération sont 2 opérations distinctes : la première repose sur de faibles substitutions aléatoires, tandis que la seconde vise les éléments considérés comme suspects par l’échantillonneur. L’approche est évaluée après 8 000 étapes d’affinage d’un modèle de diffusion masquée préentraîné de 170 millions de paramètres. Ces chiffres situent le cadre d’évaluation décrit par les auteurs. Ils indiquent la durée d’affinage et la taille du modèle utilisé, sans permettre, à eux seuls, de conclure à une efficacité supérieure dans d’autres contextes. Le travail porte donc sur la façon de faire coexister des positions à compléter et un contexte susceptible d’être modifié. À l’entraînement, les deux régions reçoivent des traitements différents. À l’inférence, le contexte jugé suspect peut être perturbé de nouveau, avec une intensité décroissante, avant l’arrêt des modifications en fin de génération.

LLéna

L’étude examine ainsi une méthode où le contexte n’est ni systématiquement laissé intact, ni modifié de la même façon que les positions manquantes. L’évaluation rapportée concerne le modèle et l’affinage indiqués par les auteurs.