OpenAI déploie textGrain, un filigrane invisible pour les textes

EElias

Alors, selon Ars Technica, OpenAI prévoit d’activer automatiquement textGrain dans ChatGPT pour les textes générés dans l’Union européenne. Dans les autres régions, le filigrane sera proposé mais restera désactivé par défaut. Pour les développeurs, c’est différent : les clients de l’interface de programmation, l’API, peuvent activer le filigrane dans le monde entier sur certains modèles pris en charge. Le réglage est désactivé par défaut, et il peut s’appliquer à un projet ou à une organisation, sans changer chaque requête séparément. OpenAI indique qu’il n’y aura pas de frais supplémentaires et que les tarifs existants ne changent pas. L’entreprise travaille aussi avec des partenaires cloud pour proposer le filigranage des textes produits par les modèles servis sur leurs plateformes. On a donc deux logiques : une activation automatique prévue pour ChatGPT en Europe, et une option laissée au choix des développeurs partout dans le monde.

EElias

En fait, textGrain ne repose pas sur des caractères cachés ou des métadonnées. D’après Clubic, le système oriente légèrement le choix des mots afin de créer un motif statistique détectable, sans modifier la lisibilité du texte. Quand plusieurs formulations sont possibles, le modèle favorise un peu certains mots ou fragments de mots, puis ce biais se répète pendant la génération. Sur un passage suffisamment long, ces choix peuvent former un motif que le détecteur recherche. TechCrunch indique que le rapport technique d’OpenAI, coécrit avec des chercheurs de l’Université de Pennsylvanie et de Yale, décrit l’utilisation d’une clé secrète pour organiser les prédictions de mots suivants et permettre au détecteur de repérer ce motif. Le détecteur signale ainsi la présence d’un filigrane OpenAI ; il ne révèle pas l’identité de l’utilisateur. C’est un peu comme repérer une cadence discrète dans une série de décisions ordinaires : chacune peut sembler banale, mais leur ensemble peut devenir mesurable. Ars Technica relie l’activation automatique en Europe à l’AI Act, mais ce lien réglementaire n’est pas confirmé ici.

EElias

Les résultats annoncés par OpenAI varient selon la longueur du passage et le type de texte testé. Avec un taux de faux positifs ciblé à 1 %, le détecteur a repéré le filigrane dans environ 95 % des passages de 400 tokens consacrés à la psychologie. Sur des passages de 200 tokens, ce taux est d’environ 80 %. Ce sont des résultats de test, pas la promesse que chaque texte réel sera identifié avec cette précision. OpenAI indique que les résultats sont nettement plus faibles pour les textes mathématiques. Le système encode son signal en favorisant légèrement certains choix de mots ou de fragments de mots ; les résultats montrent donc que le type de texte compte, sans établir à lui seul pourquoi la détection baisse en mathématiques. OpenAI affirme que ses tests sur le modèle Astra n’ont pas révélé de différence significative, avec ou sans filigrane, sur 8 benchmarks. Ces résultats portent sur ces tests précis et ne démontrent pas que toutes les formes de qualité rédactionnelle restent identiques.

EElias

Pour les clients de l’API, OpenAI indique que textGrain sera proposé sans frais supplémentaires, mais seulement sur certains modèles compatibles. Ils pourront activer le réglage au niveau d’un projet ou d’une organisation, et le laisser désactivé s’ils ne souhaitent pas l’utiliser. Pour les utilisateurs de ChatGPT et Codex concernés par le déploiement européen, l’entreprise prévoit de l’activer dans les prochaines semaines. Le détecteur, lui, ne sera pas immédiatement ouvert à tous. OpenAI prévoit de le rendre accessible au cas par cas à un nombre limité de chercheurs et d’organisations, avec une demande d’approbation. OpenAI a aussi annoncé son intention de publier textGrain en open source, mais sans calendrier précisé. Il faut distinguer cette intention de l’accès au détecteur : rendre la technologie publique plus tard ne signifie pas que chacun pourra dès maintenant faire analyser n’importe quel texte avec l’outil officiel. L’API permet l’activation sur certains modèles pris en charge, et OpenAI travaille avec des partenaires cloud pour filigraner les textes générés par des modèles servis sur leurs plateformes.

EElias

La principale limite est qu’on peut affaiblir le signal en modifiant le texte. Dans un test d’OpenAI sur un passage de 400 tokens, remplacer 10 % des mots par des synonymes fait passer la détection d’environ 92 % à 66 %. Si 25 % des mots sont remplacés, le taux tombe à 17 %. Ces résultats montrent que le remplacement de mots peut réduire la détection. OpenAI indique aussi que les passages courts et les réponses mathématiques sont plus difficiles à analyser, et que les traductions peuvent compliquer la détection. Dans ces cas, l’absence de signal ne permet donc pas de conclure que le texte a été écrit par une personne. Il peut être trop court, trop retouché, ou venir d’un autre système d’intelligence artificielle qui n’utilise pas textGrain. À l’inverse, la présence du filigrane ne dit pas quelle part du texte a été écrite, corrigée ou imaginée par une personne. OpenAI précise qu’elle ne permet pas d’identifier l’utilisateur, de déterminer qui possède le texte, ni d’attribuer une responsabilité. Autrement dit, le détecteur peut signaler qu’un système OpenAI a généré ou traité une partie du texte, sans reconstituer l’histoire complète du document.

EElias

Il faut retenir que textGrain est un filigrane statistique destiné à signaler la présence d’un filigrane OpenAI dans certains textes générés par ses modèles pris en charge. Une détection positive peut indiquer qu’un système OpenAI a généré ou traité une partie du passage, mais elle ne mesure ni le travail humain ni son importance. Une détection négative ne prouve pas davantage une origine humaine : le texte peut être trop court, trop retouché, antérieur au filigranage ou provenir d’un autre fournisseur. Les tests publiés par OpenAI montrent que la détection peut être élevée dans certaines conditions, tout en chutant nettement après des modifications. OpenAI indique aussi que ses tests sur Astra n’ont pas révélé de différence significative sur 8 benchmarks avec ou sans filigrane, mais cela ne garantit pas les mêmes résultats dans chaque usage. Le détecteur sera d’abord accessible au cas par cas à des chercheurs et organisations approuvés, sur demande. OpenAI prévoit aussi de publier textGrain en open source, sans calendrier annoncé. La conclusion est simple : un filigrane peut signaler une origine possible, mais ne permet pas de savoir à lui seul qui a écrit, retouché ou décidé quoi.