Origin, un outil pour remonter à l’origine des incidents de sécurité des agents d’intelligence artificielle
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Ondine
Des chercheurs présentent Origin, un outil conçu pour aider à remonter à l’origine des incidents de sécurité dans les applications d’agents d’intelligence artificielle. Leur question : comment relier les actions décrites dans les journaux d’un agent aux appels de fonctions du code qui pourraient être à l’origine d’une compromission ? Les auteurs décrivent cet outil dans une publication sur arXiv. Pour comprendre le problème, imaginons deux carnets d’enquête. Le premier raconte ce que fait l’agent, avec des mots qui décrivent ses fonctionnalités. Le second, le code de l’application, contient des appels de fonctions qui pourraient être des points d’entrée d’une compromission. Ces carnets ne parlent pas le même langage. Les analystes doivent donc examiner le code à la main pour établir le lien entre une fonctionnalité de l’agent et un appel précis. Origin cherche à rapprocher ces deux niveaux. On peut imaginer une carte qui relie les activités décrites dans le premier carnet aux éléments du programme, comme des variables, qui interviennent dans le second. La méthode repose sur un graphe de dépendances entre ces niveaux, ainsi que sur un algorithme qui regroupe les fonctionnalités en régions. Les auteurs indiquent qu’un analyste peut interroger l’outil avec un petit nombre de requêtes pour repérer des points d’entrée que les outils existants ne trouvent pas. Dans des études de cas portant sur 5 applications d’agents populaires et 8 incidents d’attaque, un analyste utilisant Origin a correctement identifié tous les points d’entrée de compromission. C’est le résultat rapporté par les auteurs. Ce résultat concerne les applications et les incidents étudiés. Origin est présenté comme une aide à l’analyse rétrospective des incidents, et non comme une garantie de détection pour toutes les situations.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.