Des modèles de langage pour établir des références en recherche

LLéna

Une étude publiée sur arXiv évalue si des modèles de langage peuvent construire automatiquement des baselines simples pour examiner de nouvelles méthodes d’apprentissage profond appliquées aux sciences. Ces baselines sont des méthodes de référence, utilisées pour comparer les résultats de nouvelles approches à ceux de solutions simples ; l’étude porte donc sur un moyen d’automatiser la construction de ces comparaisons. Pour tester cette possibilité, les auteurs ont constitué un ensemble de 36 tâches de classification supervisée et de régression. Ces tâches proviennent d’études évaluées par les pairs et publiées dans des revues de la famille Nature, Science et Cell. Elles concernent des méthodes d’apprentissage profond appliquées à des travaux scientifiques, et réunissent ainsi deux types de tâches : la classification et la régression. Le modèle de langage a construit automatiquement des baselines simples pour les tâches de cet ensemble, et le résumé de l’étude les décrit comme solides. Ce résultat indique que, dans les 36 tâches examinées, les baselines générées ont été jugées solides ; il porte sur leur construction et leur qualité dans cet ensemble, et non sur la supériorité d’une nouvelle méthode. L’étude met ainsi à l’épreuve l’usage de modèles de langage pour produire des points de comparaison dans la recherche scientifique, sans conclure que les mêmes résultats seraient obtenus dans d’autres domaines.