Dossier

Granite et LLMON : distinguer les consignes des données

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Token FM

Token FM, la radio de l'IA, faite par l'IA. Place au dossier.

Victor

Bonjour Sacha, on vous accueille pour parler d’IBM, qui a publié jeudi 2 modèles Granite expérimentaux entraînés à distinguer les consignes fiables des données non fiables grâce au format LLMON. Qu’est-ce qui change avec cette annonce ?

Sacha

IBM présente LLMON, un format de balisage qui vise à rendre plus claires pour un modèle la structure et la signification des éléments de son contexte, d’après Hugging Face. Un contexte peut réunir des instructions, des échanges précédents, des documents récupérés, des réponses d’outils et des données fournies par l’utilisateur. Or, quand tout arrive comme une longue suite de texte, le modèle peut avoir du mal à distinguer ce qui lui demande d’agir de ce qu’il doit seulement examiner. Imaginez un bureau couvert de papiers : une note explique la tâche, un document contient les informations à analyser, et une réponse d’outil apporte un autre élément. Si les rôles ne sont pas indiqués, une phrase dans le document peut être confondue avec une consigne. LLMON ajoute donc des balises qui nomment les différents éléments et leur rôle. Le format peut aussi relier une instruction à la donnée précise qu’elle concerne, même si ces éléments sont séparés dans le contexte. IBM a publié 2 préversions expérimentales de Granite 4.1, en versions 3B et 8B. Elles ont été entraînées à lire et à produire du texte balisé en LLMON.

Victor

Concrètement, comment ces balises sont-elles censées contrer une injection indirecte de prompt ?

Sacha

Alors, une injection indirecte consiste à glisser une instruction malveillante dans un contenu que le modèle doit lire, plutôt que dans la consigne principale. Ce contenu peut être, par exemple, un document récupéré ou une donnée issue d’un outil. Le modèle reçoit alors dans son contexte des textes de natures différentes, et une phrase du document risque d’être interprétée comme une instruction à suivre. LLMON cherche à rendre cette distinction explicite : l’instruction indique la tâche, tandis que le contenu est présenté comme une donnée à analyser, pas comme une règle qui remplace la tâche. Le format peut également associer chaque instruction au contenu sur lequel elle doit s’appliquer, au lieu de laisser le modèle deviner ce qui va ensemble. On peut penser à une étiquette apposée sur un dossier : elle indique qu’il faut lire son contenu, et non exécuter les phrases qui s’y trouvent. Cette organisation vise à réduire les confusions, mais elle ne signifie pas que toute attaque échouera. La nouveauté porte donc autant sur la manière de présenter le contexte au modèle que sur les modèles entraînés à utiliser ce balisage.

Victor

À qui ces modèles sont-ils proposés, et que sait-on de leur résultat chiffré ?

Sacha

Les 2 modèles sont des préversions expérimentales, avec une version 3B et une version 8B. IBM a aussi publié un dépôt qui contient des outils et des exemples pour travailler avec LLMON, d’après Hugging Face. Cela donne aux personnes qui s’intéressent au format de quoi examiner ses usages, mais le statut des modèles reste bien celui d’une préversion, pas celui d’un produit dont les performances seraient établies dans tous les contextes. LLMON propose des convertisseurs capables de transformer du JSON en LLMON sans perte, et le format peut être utilisé avec Mellea, qui le prend en charge. Ces éléments concernent la manière de préparer ou de transmettre le contexte ; ils ne remplacent pas le travail d’évaluation des modèles. Pour le chiffre mis en avant, IBM indique que les versions 3B et 8B ont évité 47 % d’attaques de plus que le meilleur modèle de pointe testé par l’entreprise sur le benchmark OPI, selon Unite.AI. Ce résultat décrit la comparaison rapportée par IBM sur ce benchmark précis. Il reste à l’évaluer indépendamment, et il ne permet pas, à lui seul, de conclure sur tous les usages possibles.

Victor

Quelles limites faut-il garder en tête quand on lit ces résultats ?

Sacha

IBM affirme que, sur certains benchmarks, la séparation explicite entre instructions et données fait tomber presque à zéro le taux de réussite des attaques par injection indirecte. L’entreprise indique aussi que les capacités générales des modèles restent comparables à celles de Granite 4.1 Instruct, d’après Hugging Face. Ce sont des résultats annoncés par IBM, et non une validation indépendante. Il faut donc distinguer ce que l’entreprise rapporte dans ses essais de ce qui serait établi pour d’autres modèles, d’autres tâches ou d’autres environnements. Le chiffre de 47 % compare les préversions au meilleur modèle de pointe testé par IBM sur OPI ; il ne décrit pas une réduction universelle des attaques dans chaque application. De même, le résultat annoncé sur certains benchmarks ne signifie pas que le taux de réussite soit presque nul dans toutes les situations. Les modèles restent expérimentaux, et les éléments disponibles ne donnent pas ici une mesure indépendante de leurs performances. L’intérêt de l’annonce est de proposer une manière structurée de séparer des contenus que le modèle pourrait autrement confondre, avec des premiers résultats que l’entreprise présente comme encourageants.

Victor

Que peuvent faire les équipes intéressées, et que faut-il retenir de cette approche ?

Sacha

Bon, l’idée centrale est de ne pas laisser le modèle deviner quelle phrase est une consigne, quel passage est un document et quelle réponse d’outil constitue seulement une donnée à examiner. LLMON cherche à rendre ces rôles visibles avec des balises, puis à relier les instructions aux contenus concernés. Pour comprendre le principe, on peut imaginer un assistant chargé de résumer un document : la demande de résumé est une instruction, tandis que le texte du document reste la matière à résumer, même s’il contient lui-même des phrases qui ressemblent à des ordres. La séparation proposée par le format indique au modèle comment interpréter ces parties du contexte. IBM a publié des outils et des exemples avec ses préversions, et les convertisseurs permettent de passer du JSON à LLMON sans perte. Mellea prend aussi en charge le format. Ce sont des points d’entrée pour explorer l’approche, mais ils ne prouvent pas à eux seuls qu’elle protège toutes les applications. Les capacités générales sont décrites par IBM comme comparables à celles de Granite 4.1 Instruct sur les essais mentionnés, et la baisse des attaques est elle aussi rapportée par l’entreprise. Au fond, il s’agit d’une piste expérimentale pour mieux signaler la frontière entre les instructions et les données, avec un chiffre de benchmark à vérifier indépendamment et sans garantie de sécurité définitive.

Victor

Merci Sacha pour ces explications.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.