TextSeal2, le filigrane qui suit les brouillons

LLéna

Une équipe de recherche présente TextSeal2, une méthode de filigrane pour les grands modèles de langage, et cherche à marquer leurs textes sans distorsion tout en conservant le signal lorsque la génération est accélérée, dans une prépublication déposée sur arXiv vendredi. Un filigrane numérique est ici un signal associé aux choix produits par le modèle ; il peut ensuite servir à détecter ce signal dans un texte. L’enjeu est de le maintenir même lorsque le système remplace certaines propositions en cours de génération. Pour comprendre le problème, imaginons un cuisinier qui prépare plusieurs ingrédients avant de savoir lesquels seront retenus. C’est une image du décodage spéculatif : le modèle prépare des brouillons, puis le système en accepte certains et en remplace d’autres. TextSeal2 conserve le marquage des tokens de remplacement avec les mêmes clés, sans changer le taux d’acceptation. Pour vérifier ces brouillons, la méthode ajoute une course sur les éléments restants ; les auteurs indiquent que cela reproduit la vérification par blocs et que la sortie suit exactement le modèle cible. La méthode combine aussi 2 clés ou plus en une clé virtuelle, liée à un bruit frais au moyen de la copule gaussienne d’AutoMark. On peut se représenter cela comme plusieurs clés réunies dans un trousseau virtuel. Des clés publiques peuvent également être intégrées sans diluer la détection, selon les auteurs. Dans leurs évaluations sur 3 grands modèles de langage, les auteurs rapportent que TextSeal2 préserve la diversité des sorties et n’ajoute pas de latence d’inférence mesurable. À diversité égale, la méthode détecte de 8 à 22 points de pourcentage de réponses de 100 tokens de plus que TextSeal, avec un taux de faux positifs de 0,1 %. En décodage spéculatif, elle détecte 18 points de plus que TextSeal et 22 de plus que textGrain, pour des réponses de 200 tokens et à taux d’acceptation identique. Ces résultats sont ceux des évaluations des auteurs ; ils ne garantissent pas les mêmes performances dans toutes les conditions.