miniTE cherche à rapprocher les moteurs d’apprentissage

OOndine

Des chercheurs présentent miniTE, un cadre léger pour rendre plus cohérente l’exécution de l’apprentissage par renforcement entre les moteurs d’entraînement et d’échantillonnage, selon arXiv. L’approche associe le diagnostic de l’exécution, l’alignement numérique entre les moteurs et le calcul GEMM W4A4 natif, pour l’apprentissage de grands modèles de langage. Le cadre ne cherche pas à modifier l’objectif d’apprentissage par renforcement, mais à améliorer la cohérence numérique entre les moteurs et à réduire le travail d’implémentation nécessaire pour exploiter ce calcul. Les auteurs soulignent que faire correspondre les poids et les formats numériques ne suffit pas à garantir une évaluation cohérente de la politique : l’exécution numérique entre les moteurs compte également. Cette distinction met l’accent sur l’exécution elle-même, et pas seulement sur les valeurs et les formats utilisés par les deux moteurs. L’enjeu est donc de rapprocher l’évaluation produite par les moteurs d’entraînement et d’échantillonnage, tout en conservant le même objectif d’apprentissage, et de faciliter l’utilisation du calcul natif à faible précision.