Les experts de l’IA ont sous-estimé la vitesse des progrès, selon une étude

NNoor

D’après The Decoder, le rapport intermédiaire du Forecasting Research Institute rassemble plusieurs enquêtes de prévision et conclut que des spécialistes ont souvent anticipé trop lentement les progrès sur des benchmarks et certains indicateurs d’adoption. Il s’appuie notamment sur LEAP, pour Longitudinal Expert AI Panel, un panel consacré aux prévisions concernant l’intelligence artificielle. Sa première vague a interrogé 339 experts, dont 76 informaticiens, 76 spécialistes de l’industrie, 68 économistes et 119 spécialistes des politiques publiques. Parmi les informaticiens figuraient 30 professeurs d’établissements classés parmi les 20 meilleures institutions, ainsi que 10 des 200 auteurs en intelligence artificielle les plus cités. Le panel incluait aussi des superforecasters, des généralistes ayant fait preuve d’une bonne précision dans leurs prévisions. L’intérêt du rapport est donc de comparer des anticipations formulées par des profils variés avec des résultats et des indicateurs apparus par la suite.

NNoor

Alors, le principe consiste à confronter des prévisions recueillies au fil de plusieurs enquêtes aux progrès ensuite constatés sur certains benchmarks et indicateurs d’adoption. Les prévisions ont été formulées à différents moments, notamment à partir de 2022, puis comparées à des résultats plus récents lorsque ceux-ci étaient disponibles. Cela permet de voir si une étape a été atteinte avant ou après la date médiane annoncée par les participants. Le rapport relève ainsi des écarts importants sur certains jalons, sans que cela signifie que toutes les prévisions étaient erronées, ni que tous les domaines ont évolué au même rythme. Le Forecasting Research Institute précise aussi que son rapport intermédiaire peut faire ressortir plus rapidement les prévisions trop prudentes. À l’inverse, une prévision trop optimiste ne peut être évaluée qu’une fois son échéance passée, ce qui rend le bilan encore incomplet.

NNoor

Le décalage le plus net concerne les Olympiades internationales de mathématiques. En 2022, les experts prévoyaient que l’intelligence artificielle atteindrait le niveau d’une médaille d’or en 2030. Les superforecasters estimaient que ce jalon ne serait atteint qu’en 2035. Or, l’IA a atteint ce niveau en juillet 2025, soit 5 ans avant la prévision médiane des experts et 10 ans avant celle des superforecasters. Ces estimations avaient été recueillies avant le lancement de ChatGPT, mais le rapport indique que la tendance à sous-estimer les progrès s’est aussi poursuivie après cette période.

NNoor

Le rapport examine aussi un benchmark de dépannage en virologie, pour lequel les experts prévoyaient que l’IA n’égalerait pas une équipe de virologues de haut niveau avant 2030. Les superforecasters situaient cette étape en 2034. Le Forecasting Research Institute estime que le niveau aurait probablement été atteint dès avril 2025, mais cette date reste une estimation et non un résultat confirmé avec certitude. Sur le plan économique, le rapport attribuerait aux experts une prévision médiane de 20 milliards de dollars pour le chiffre d’affaires annuel récurrent maximal d’une entreprise d’intelligence artificielle à la fin de 2026. Pour Anthropic, il cite environ 100 milliards de dollars en septembre 2026 et estime que ce niveau aurait probablement déjà été atteint. Ces données économiques sont présentées comme des évaluations rapportées, et le montant concernant Anthropic comme probablement atteint, pas comme un chiffre ici confirmé indépendamment.

NNoor

Dans un essai contrôlé portant sur des tâches de laboratoire biologique, 5,2 % des participants aidés par un modèle de langage et Internet ont réussi, contre 6,6 % avec Internet seul. L’essai était de petite taille, mais il ne montre pas d’avantage mesurable du modèle dans cette expérience. Les prévisions étaient pourtant plus élevées : les experts anticipaient 22,5 % de réussite, les virologues 40 % et les superforecasters 16,2 %. Le rapport évoque aussi les trajets de véhicules de transport avec chauffeur autonomes aux États-Unis en 2027 : la prévision médiane des experts est de 7,3 %, tandis qu’une projection par modèle de langage donne 2,5 %. Ces deux chiffres sont des prévisions, pas des résultats observés, et une possible solution à un problème du prix du millénaire reste elle aussi incertaine quant au respect des critères d’évaluation.

NNoor

Il faut retenir un tableau contrasté, plutôt qu’une conclusion générale selon laquelle les experts auraient toujours tort. Sur certains jalons, notamment le niveau médaille d’or aux Olympiades internationales de mathématiques, le calendrier a été nettement plus rapide que prévu. Dans d’autres cas, comme l’essai sur les tâches de laboratoire biologique, les résultats disponibles ne confirment pas les attentes élevées. Le rapport distingue donc les performances mesurées sur certains tests des effets pratiques, qui ne se déduisent pas automatiquement de ces performances. Il rappelle aussi que son analyse est intermédiaire : plusieurs échéances ne sont pas encore passées, et certaines données évoquées sont des estimations ou des projections. En fait, l’écart sur les Olympiades est un signal marquant, mais il ne suffit pas à décrire à lui seul l’ensemble des progrès ni l’utilité de l’intelligence artificielle dans tous les domaines.