Détecter l’intelligence artificielle dans les critiques

MMarc

Une étude sur la détection de critiques de films générées par intelligence artificielle montre que des vérifications automatisées peuvent signaler à tort de nombreux textes humains et dégrader une analyse du sentiment, selon Brief IA. Le protocole combine trois signaux : la perplexité mesurée avec GPT-2, la similarité entre textes proches et la densité d’incorporation. Ensemble, ils produisent un score d’alerte. Les auteurs précisent que ce score n’est ni une probabilité ni une preuve qu’un texte a été écrit par une intelligence artificielle. L’expérience compare 200 critiques considérées comme humaines à 400 textes générés par gpt-6-astra et gpt-5-nano. Ses conclusions restent donc limitées à ces textes et aux conditions du test. Un des signaux montre la difficulté : au seuil choisi pour repérer 80 % des textes générés, la densité d’incorporation a aussi marqué comme suspects 47 % des textes de référence considérés comme humains. Le filtrage a également eu un effet négatif sur un classificateur chargé d’estimer le sentiment exprimé dans les critiques. Sur un lot de test de 200 textes, son exactitude est passée de 67,5 % avant filtrage à 57,5 % après. Autrement dit, retirer des critiques sur la base du score combiné n’a pas amélioré cette analyse dans l’expérience : ses résultats se sont au contraire dégradés. Ces chiffres ne permettent pas de conclure que tous les outils de détection échouent, mais ils montrent qu’un signal automatisé ne suffit pas à établir l’origine artificielle d’une critique. Ici, il s’agit d’une alerte à interpréter avec prudence, dans le cadre précis de ce test.