OpenAI déploie textGrain, un filigrane invisible pour les textes

EElias

Alors, d’après TechCrunch, OpenAI prévoit d’ajouter textGrain dans ChatGPT et Codex pour les utilisateurs éligibles de l’Union européenne, sur toutes les formules, au cours des prochaines semaines. Le déploiement annoncé concerne cette région, et OpenAI ne donne pas de date précise. Pour les développeurs, c’est différent : les clients de l’interface de programmation, l’API, peuvent activer le filigrane dans le monde entier sur certains modèles pris en charge. Le réglage est désactivé par défaut, et il peut s’appliquer à un projet ou à une organisation, sans changer chaque requête séparément. OpenAI indique qu’il n’y aura pas de frais supplémentaires et que les tarifs existants ne changent pas. L’entreprise travaille aussi avec des partenaires cloud pour proposer le filigranage des textes produits par les modèles servis sur leurs plateformes. On a donc deux logiques : un déploiement prévu dans ChatGPT et Codex pour des utilisateurs européens, et une option laissée au choix des développeurs partout dans le monde.

EElias

En fait, textGrain ne repose pas sur un symbole visible ajouté au texte. OpenAI décrit plutôt un signal statistique incorporé dans les choix de mots pendant la génération. Quand plusieurs formulations peuvent convenir, le système favorise légèrement certains mots ou fragments de mots, puis répète ce biais au fil de la rédaction. Pris isolément, un choix paraît banal ; accumulés sur un passage assez long, ces choix forment un motif qu’un détecteur peut rechercher. D’après TechCrunch, le rapport technique d’OpenAI, coécrit avec des chercheurs de l’Université de Pennsylvanie et de Yale, décrit aussi l’usage d’une clé secrète pour organiser les prédictions de mots suivants. Le détecteur compare ensuite le texte à ce motif. C’est un peu comme repérer une cadence très discrète dans une série de décisions ordinaires : chaque décision peut s’expliquer seule, mais leur ensemble devient mesurable. Le signal est pensé pour être repéré par une machine. OpenAI présente ce procédé dans le cadre des règles européennes de transparence sur les contenus générés par l’intelligence artificielle.

EElias

Les résultats annoncés varient surtout avec la longueur et la nature du passage. Dans les tests d’OpenAI, avec un taux de faux positifs ciblé à 1 %, le détecteur a repéré le filigrane dans environ 95 % de passages de 400 tokens consacrés à la psychologie. Sur des passages de 200 tokens, ce taux tombe à environ 80 %. Ce sont des résultats de test, pas la promesse que chaque texte réel sera identifié avec cette précision. OpenAI indique que les résultats sont nettement plus faibles pour les textes mathématiques. Le filigrane dépend des choix de mots possibles pendant la génération, et les réponses mathématiques offrent moins de latitude. L’entreprise affirme que textGrain égale ou dépasse les performances d’autres méthodes de filigranage de texte, dont SynthID de Google DeepMind, d’après The Verge. OpenAI indique aussi que ses tests sur le modèle Astra n’ont pas révélé de différence significative avec ou sans filigrane sur 8 benchmarks. Ces résultats portent sur des mesures de performance précises ; ils ne démontrent pas à eux seuls que toutes les formes de qualité rédactionnelle restent identiques.

EElias

Pour les clients de l’API, OpenAI indique que textGrain sera proposé sans frais supplémentaires, mais seulement sur certains modèles compatibles. Ils pourront activer le réglage au niveau d’un projet ou d’une organisation, et le laisser désactivé s’ils ne souhaitent pas l’utiliser. Pour les utilisateurs de ChatGPT et Codex concernés par le déploiement européen, l’entreprise prévoit de l’activer dans les prochaines semaines. Le détecteur, lui, ne sera pas immédiatement ouvert à tous. OpenAI prévoit un accès initial au cas par cas pour des chercheurs agréés, sur demande. OpenAI a aussi annoncé son intention de publier textGrain en open source, mais sans calendrier précisé. Il faut distinguer cette intention de l’accès au détecteur : rendre la technologie publique plus tard ne signifie pas que chacun pourra dès maintenant faire analyser n’importe quel texte avec l’outil officiel. L’API permet l’activation sur certains modèles pris en charge, et OpenAI travaille avec des partenaires cloud pour filigraner les textes générés par des modèles servis sur leurs plateformes.

EElias

La principale limite est qu’on peut affaiblir le signal en modifiant le texte. Dans un test d’OpenAI sur un passage de 400 tokens, remplacer 10 % des mots par des synonymes fait passer la détection d’environ 92 % à 66 %. Si 25 % des mots sont remplacés, le taux tombe à 17 %. Ces résultats montrent que le remplacement de mots peut réduire la détection. OpenAI indique aussi que les passages courts et les réponses mathématiques sont plus difficiles à analyser, et que les traductions peuvent compliquer la détection. Dans ces cas, l’absence de signal ne permet donc pas de conclure que le texte a été écrit par une personne. Il peut être trop court, trop retouché, ou venir d’un autre système d’intelligence artificielle qui n’utilise pas textGrain. À l’inverse, la présence du filigrane ne dit pas quelle part du texte a été écrite, corrigée ou imaginée par une personne. OpenAI précise qu’elle ne permet pas d’identifier l’utilisateur, de déterminer qui possède le texte, ni d’attribuer une responsabilité. Autrement dit, le détecteur peut signaler qu’un système OpenAI a généré ou traité une partie du texte, sans reconstituer l’histoire complète du document.

EElias

Il faut retenir que textGrain est un filigrane statistique destiné à signaler certains textes générés ou traités par des systèmes OpenAI. Une détection positive peut indiquer qu’un système OpenAI a généré ou traité une partie du passage, mais elle ne mesure ni le travail humain ni son importance. Une détection négative ne prouve pas davantage une origine humaine : le filigrane peut avoir été affaibli par des retouches, le texte peut être trop court, ou il peut provenir d’une autre intelligence artificielle. Les résultats publiés montrent que la détection peut être élevée dans certaines conditions, tout en chutant nettement après des modifications. Les performances annoncées par OpenAI, qu’il s’agisse des comparaisons avec d’autres méthodes ou des tests sur Astra, restent des résultats rapportés par l’entreprise, pas une garantie valable pour chaque usage. Le détecteur sera d’abord accessible au cas par cas à des chercheurs agréés, sur demande. OpenAI prévoit aussi de publier textGrain en open source, sans calendrier annoncé. La conclusion est simple : un filigrane aide à signaler une origine possible, mais il ne permet pas de savoir à lui seul qui a écrit, retouché ou décidé quoi.