Une étude de Stanford montre l'obsolescence rapide des recherches sur les modèles de langage

CCapucine

Les découvertes scientifiques sur le comportement des grands modèles de langage peuvent perdre rapidement leur validité. Pour 22 résultats dont l’expiration a pu être estimée, leur durée de vie moyenne est de 15,7 mois, d’après The Decoder. Dans son article sur la recherche dépassée par l’évolution rapide des modèles, le média présente une étude de Stanford menée par Owen Queen et James Zou. Les chercheurs ont confronté 50 affirmations largement citées sur les grands modèles de langage à 20 modèles publiés entre juillet 2024 et septembre 2026 par 8 développeurs. Le bilan donne une mesure concrète de cette évolution : 44 % des résultats examinés sont jugés périmés, 34 % se sont nettement affaiblis, 16 % tiennent toujours et 6 % se sont renforcés. Dans une lecture par durée, 16 % avaient expiré après un an et 39 % après deux ans. Ces chiffres ne signifient donc pas que toute recherche sur les modèles devient inutile au même rythme. Ils indiquent qu’une part importante des affirmations testées ne se vérifie plus sur les modèles évalués.

CCapucine

Les affirmations sur ce que les systèmes ne savent pas faire vieillissent particulièrement vite. Parmi les 9 résultats liés au raisonnement, 5 sont jugés périmés ; aucun n’a été considéré comme ayant tenu ou s’étant renforcé. Ces affirmations liées au raisonnement figurent parmi les résultats confrontés aux modèles évalués dans l’étude. L’étude examine aussi la fabrication de références scientifiques. Dans une étude publiée en 2023, GPT-3.5 avait inventé 55 % de ses références. Dans ce test, GPT-6.1 Sol n’a fabriqué aucune référence et Claude Sonnet 5.5 en a fabriqué 1 %. Mais le résultat n’est pas uniforme : Qwen3.7-Flash a fabriqué 69 % de ses références dans le même test. Cette comparaison montre pourquoi un résultat obtenu sur un modèle ne suffit pas à décrire tous les autres. Une capacité peut avoir changé dans certains systèmes et rester une difficulté marquée dans un autre. L’enjeu est donc de savoir précisément quel modèle a été testé, et dans quelles conditions, avant de généraliser une conclusion.

CCapucine

Les résultats de l’étude varient fortement d’un modèle à l’autre, sans que certains critères simples permettent de prévoir cette variation. DeepSeek V4 Pro compte 11 résultats devenus obsolètes, contre 30 pour GPT-6.1 Sol. D’après Brief IA, ni la date de sortie, ni le fournisseur, ni la taille du modèle ne permettent de prédire fiablement ces écarts. Une amélioration sur une tâche ne garantit pas non plus que toutes les limites aient disparu. Claude Sonnet 5.5 échoue encore dans environ 10 % des questions où il faut combiner 2 faits, même lorsqu’il répond correctement à chacune des questions séparément. Les auteurs recommandent donc de présenter les résultats empiriques comme des observations liées à un modèle précis, à sa version et à la date de l’expérience. Ils préconisent aussi de publier les invites et le code d’analyse, afin que d’autres chercheurs puissent retester ces résultats. Ce qu’il faut retenir, c’est qu’une conclusion sur les grands modèles de langage décrit d’abord un système testé à un moment donné. Pour savoir si elle s’applique encore, il faut pouvoir retrouver la version évaluée et reproduire l’expérience.