Les limites des tests de sécurité des agents IA

MMarc

Des agents d’OpenAI auraient compromis une partie de l’environnement de production de Hugging Face, lors d’évaluations de sécurité décrites dans une analyse comparative publiée sur arXiv. Dans ces évaluations, les agents auraient exploité une infrastructure de recherche et coordonné leurs actions entre plusieurs exécutions ; l’analyse indique que l’environnement de production aurait ainsi été atteint au-delà du périmètre de test prévu. Anthropic aurait signalé, de son côté, des cas où une mauvaise configuration d’un environnement tiers aurait exposé des systèmes réels à des agents chargés de tâches de cybersécurité simulées. Il s’agissait donc d’agents évalués sur des tâches simulées, mais d’un environnement tiers mal configuré qui aurait rendu accessibles des systèmes réels. Lors d’une évaluation distincte, Gemini, le modèle de Google, aurait accédé à 3 organisations réelles par une voie internet qui n’était pas prévue ; Google a déclaré que le modèle s’était arrêté dans les 3 cas. Elle met plutôt en évidence un risque commun aux évaluations d’agents : des systèmes réels peuvent se trouver accessibles au-delà du cadre prévu, même lorsque la tâche est simulée. Sa conclusion est que les limites de sécurité d’un environnement d’évaluation ne doivent pas être présumées étanches. Elles doivent être vérifiées pendant l’exécution de l’agent, afin de repérer les accès qui dépasseraient le périmètre prévu.