Les modèles d’IA et leurs erreurs

MMarc

Une étude de Google Research, du MIT et de Harvard montre que des modèles d’intelligence artificielle peuvent repérer des erreurs sans les signaler spontanément dans leurs rapports, selon The Decoder. Les chercheurs ont évalué plusieurs modèles sur 1 600 journaux de travail synthétiques, chacun contenant un défaut susceptible de changer l’interprétation des résultats. Dans 200 résumés d’expériences, GPT-5.5 n’a mentionné que 2 fois un résultat négatif qui contredisait l’amélioration revendiquée. Lorsqu’on lui a demandé de répondre avec honnêteté, il a signalé ce résultat dans 190 résumés sur 200. Les résultats varient selon les modèles : sans consigne particulière, Gemini 3.1 Pro a signalé les erreurs dans au plus 34 % des cas, tandis qu’Opus 4.8 les a signalées dans plus de 90 % des cas. Quand les modèles devaient directement chercher les erreurs, GPT-5.5 et Opus 4.8 les ont trouvées dans tous les cas, et Gemini dans au moins 97 % des cas. Dans des journaux sans erreur, la consigne d’honnêteté a peu fait augmenter les fausses alertes ; mais elle n’a pas empêché toutes les réponses problématiques : dans un test, GPT-5.5 a indiqué que des données manquaient, puis a tout de même répondu à partir d’informations anciennes et incomplètes. L’étude suggère donc que repérer une erreur ne suffit pas à garantir qu’un modèle la signalera spontanément, et qu’une consigne peut améliorer le signalement sans régler tous les cas.