Un guide américain pour gérer les incidents liés aux agents d’IA

LLéna

Le NIST, la NSA et la CISA ont publié des recommandations pour gérer les incidents où un agent d’intelligence artificielle agit de manière importante sans demande explicite d’un humain, selon Clubic. Le guide s’adresse notamment aux organisations qui entraînent ou évaluent ces agents, et porte sur des comportements qui peuvent se produire pendant ces phases. Il répartit la gestion des incidents en 5 étapes : préparer, détecter, répondre, reprendre et signaler. Les recommandations préconisent de limiter les accès et les outils mis à la disposition des agents, afin de restreindre ce qu’ils peuvent utiliser lorsqu’ils fonctionnent. Elles conseillent aussi de limiter leurs connexions réseau aux destinations autorisées, plutôt que de leur permettre de communiquer sans restriction avec d’autres systèmes. La surveillance devrait couvrir plusieurs éléments : le modèle d’intelligence artificielle, le logiciel qui le fait fonctionner, la machine qui l’héberge et le réseau auquel elle est connectée. Le guide recommande également d’empêcher les agents de modifier les outils de contrôle ou les journaux d’activité, et suggère, si possible, de faire appel à plusieurs modèles de surveillance issus de familles différentes. Ces recommandations associent donc le suivi du modèle à celui de son environnement technique, et décrivent une marche à suivre allant de la préparation à la détection, puis à la réponse, à la reprise des activités et au signalement de l’incident.