Des taux d’apprentissage faibles pour fiabiliser les modèles proxy

LLéna

Une étude menée par des chercheurs de Princeton et d’autres universités montre que de faibles variations du taux d’apprentissage peuvent inverser le classement de jeux de données établi par des modèles proxy, selon AlphaSignal. Ces modèles proxy peuvent donc donner des évaluations différentes des corpus lorsque leurs réglages d’entraînement changent, ce qui rend leur classement moins stable pour choisir des données de préentraînement. Les auteurs recommandent d’entraîner ces modèles avec un taux d’apprentissage 10 à 100 fois inférieur aux réglages habituels, soit environ 10⁻⁵ à 10⁻⁶ pour les grands modèles de langage. Avec cette méthode, un modèle proxy GPT-2 de 125 millions de paramètres et un modèle cible Pythia d’un milliard de paramètres obtiennent une corrélation de rang supérieure à 0,95 sur 253 paires de jeux de données. La méthode a aussi été évaluée sur 23 recettes de données, avec 3 architectures, GPT-2, Pythia et OPT, et des modèles comptant de 70 millions à un milliard de paramètres. Les chercheurs présentent également une preuve théorique dans le cadre de modèles à caractéristiques aléatoires : à la limite d’une largeur infinie, un taux d’apprentissage très faible préserve le classement des jeux de données. Ces résultats indiquent qu’un réglage plus prudent des modèles proxy peut rapprocher leur classement de celui de modèles cibles plus grands, et ainsi rendre les comparaisons de corpus plus fiables dans les conditions étudiées.