Une revue unifie les méthodes de distillation « on-policy »

MMarc

Mingyang Song et Mao Zheng publient une revue des travaux sur la distillation « on-policy », où un petit modèle est entraîné sur ses propres trajectoires, évaluées par un modèle enseignant, selon AlphaSignal. Autrement dit, l’élève produit ses réponses au fil d’une tâche, puis le modèle enseignant fournit un signal d’évaluation : l’entraînement ne repose donc pas uniquement sur des réponses toutes faites à imiter. La revue propose un cadre commun fondé sur les divergences f et classe les méthodes selon 3 axes : le signal de retour, l’accès au modèle enseignant et la granularité de la fonction de perte. Les auteurs rapprochent aussi ces travaux de l’apprentissage par imitation interactif de type DAGGER et de l’apprentissage par renforcement sous contrainte de divergence K L. Selon les hypothèses citées dans la revue, l’apprentissage sur les trajectoires de l’élève pourrait faire passer la croissance de l’erreur d’une progression quadratique à une dépendance approximativement linéaire à la longueur des trajectoires. AlphaSignal cite des déploiements industriels, notamment Qwen3 et Thinking Machines Lab, et affirme que ce dernier aurait atteint le niveau AIME’24 pour un dixième du coût d’un entraînement par renforcement ; le détail de cette estimation n’est pas fourni. La revue ne présente ni nouveau résultat de benchmark ni code, et recense plutôt des questions ouvertes sur les lois d’échelle, les retours tenant compte de l’incertitude, la distillation d’agents et la rétention des acquis en apprentissage continu.