Évaluer les capacités réelles des agents d’intelligence artificielle

OOndine

Sayash Kapoor appelle à distinguer les usages utiles des agents d’intelligence artificielle intégrés aux produits des promesses d’automatisation complète, dans une intervention publiée par AI Engineer. Un agent peut déjà apporter une aide concrète dans un outil, mais cela ne prouve pas qu’il puisse remplacer seul tout un processus professionnel ou scientifique. Kapoor estime que les affirmations de remplacement exigent des preuves plus solides, avec des évaluations correspondant aux tâches revendiquées. Dans le domaine juridique, une évaluation de produits de LexisNexis et de Westlaw aurait relevé des hallucinations dans environ 1 cas sur 6 à 1 cas sur 3 : certains outils inventaient des paragraphes ou inversaient le sens des sources. Autre test, CoreBench mesure la capacité des agents à reproduire des résultats de recherche publiés, à partir du code et des données fournis ; même les meilleurs ont reproduit moins de 40 % des articles évalués. Kapoor met aussi en garde contre les démonstrations scientifiques simplifiées, les jugements automatisés par des modèles de langage et les contributions mineures : ces résultats ne prouvent pas qu’un agent puisse automatiser l’ensemble de la recherche. Selon Kapoor, les évaluations doivent donc porter sur les tâches précises que les agents sont censés accomplir, plutôt que sur des problèmes simplifiés.