Entraîner moins, mieux cibler le raisonnement

OOndine

Des chercheurs proposent une méthode de post-entraînement du raisonnement des grands modèles de langage, appelée contraction progressive guidée par l’incertitude, selon arXiv. Son principe est de concentrer la supervision et l’optimisation sur les trajectoires de raisonnement jugées les plus utiles à l’apprentissage, au lieu de répartir ces efforts de la même manière sur l’ensemble des trajectoires. Pour repérer les étapes à privilégier, le cadre construit des arbres de raisonnement Monte-Carlo autour d’états intermédiaires et caractérise l’incertitude au fil du processus. Il ne traite donc pas une chaîne de pensée produite par un enseignant comme un parcours unique : les arbres permettent de représenter des trajectoires autour de plusieurs états intermédiaires et d’estimer l’incertitude associée au raisonnement. Cette estimation sert à guider la sélection des trajectoires auxquelles consacrer la supervision et l’optimisation, afin de cibler celles qui paraissent les plus utiles pour apprendre. La démarche s’inscrit dans un enjeu de coût : accroître les corpus de supervision peut augmenter les dépenses d’entraînement sans apporter des gains proportionnels. Les auteurs cherchent donc à réduire la quantité de supervision nécessaire au post-entraînement du raisonnement, tout en préservant les capacités des modèles ; les faits présentés décrivent l’objectif et le mécanisme, sans préciser les résultats expérimentaux ni chiffrer les économies obtenues.