Les limites des détecteurs d’intelligence artificielle

LLéna

Clubic a testé Pangram 4.0 et GPTZero 4.1m sur 10 textes français dont l’origine était connue, pour comparer leurs résultats selon différents modes d’écriture. L’échantillon comprenait des articles publiés avant ChatGPT, des textes entièrement générés par ChatGPT, des textes corrigés ou réécrits par l’intelligence artificielle, ainsi qu’un poème de Victor Hugo. Les 2 détecteurs semblent mieux reconnaître les cas les plus tranchés, mais leurs verdicts sont moins nets quand humains et intelligence artificielle ont contribué au même texte. Cette différence est importante dans l’affaire du roman de Thélyson Orélien : Le Monde aurait soumis plus de la moitié du livre à Pangram, qui aurait classé plus de 95 % du texte comme généré par intelligence artificielle, avec un niveau de confiance élevé. Ce score ne prouverait pas, à lui seul, comment le roman a été écrit, et Thélyson Orélien conteste les accusations. L’Académie Goncourt aurait retiré le roman de sa sélection en invoquant notamment des analyses convergentes sur l’usage de l’intelligence artificielle ; de son côté, l’éditeur Le Boréal affirme ne pas en avoir utilisé dans son travail éditorial, sans pouvoir certifier les étapes antérieures. Clubic annonce que son enquête se poursuivra avec des textes plus longs, des styles variés, des réécritures profondes et des tentatives de faire baisser artificiellement les scores : le test montre que les résultats sont moins nets lorsque l’écriture humaine et l’intelligence artificielle sont mêlées, et que les scores ne suffisent pas à établir seuls l’origine d’un texte.