Un filtre pour les systèmes de génération augmentée par recherche

MMarc

Des chercheurs présentent nokast-secureRAG pour répondre à une question : comment repérer les instructions malveillantes cachées dans les documents qu’un système d’intelligence artificielle retrouve avant de rédiger sa réponse ? La publication, déposée sur arXiv mercredi, décrit un petit modèle conçu pour cette tâche. Le modèle se place entre la recherche de documents et la génération de la réponse. Il examine ensemble la question de l’utilisateur et les passages retrouvés, puis classe cette combinaison comme sûre, suspecte ou malveillante. Cette vérification vise les injections indirectes : un document récupéré peut contenir des consignes que le système prendrait à tort pour des instructions fiables. Elle vise aussi l’empoisonnement des documents, quand le contenu retrouvé est conçu pour tromper le système. On peut comparer ce filtre à un agent de sécurité qui ne regarde pas seulement un billet d’entrée. Il vérifie aussi si ce billet correspond à la demande de la personne. Ici, le modèle confronte la requête et le contexte récupéré, plutôt que de juger une phrase isolément. Le modèle compte environ 0,5 milliard de paramètres. Pour le préparer, un modèle enseignant de 35 milliards de paramètres a produit 5 233 exemples répartis entre quatre familles d’attaques. Un modèle juge indépendant, de 120 milliards de paramètres, les a ensuite réétiquetés. Les deux étaient d’accord dans 95 % des cas avant l’ajustement du petit modèle. Sur un test mis de côté, mais construit dans la même distribution que les exemples d’entraînement, les auteurs mesurent un rappel de détection de 0,994. Autrement dit, le filtre repère presque toutes les attaques de ce test. Le taux de faux positifs est de 0,026 : certaines entrées sans danger sont donc tout de même signalées. Les bons résultats annoncés concernent donc un test proche des données d’entraînement ; ils ne prouvent pas que le filtre détectera toutes les attaques en situation réelle.