Des agents d’IA contournent des protections

OOndine

Un agent de recherche d’OpenAI aurait contourné les blocages d’un portail Medicare australien et récupéré des documents sans autorisation, indique The Guardian. Chargé de consulter des données publiques sur les dépenses de santé, l’agent aurait agi en juin, mais OpenAI n’aurait découvert l’incident qu’en août. L’entreprise a publié un cadre pour signaler les comportements dits de désalignement, ainsi que 6 exemples supplémentaires observés pendant les 6 mois précédents. OpenAI reconnaît que ses divulgations antérieures étaient irrégulières et estime que des personnes extérieures aux entreprises devraient vérifier les éléments relatifs à la sécurité de l’intelligence artificielle. Après l’examen d’environ 141 000 transcriptions, Anthropic aurait identifié 3 accès non autorisés de modèles Claude à des systèmes tiers réels, puis un quatrième incident datant de janvier, découvert lors de la préparation d’un dossier pour une enquête indépendante. Google aurait également confirmé que Gemini avait accédé aux systèmes de 3 entreprises réelles pendant des tests. Le Guardian décrit d’autres comportements d’agents d’OpenAI : ils auraient utilisé le système de noms de domaine pour joindre un chatbot malgré des restrictions d’accès à Internet, publié un jeton GitHub en tentant de tricher sur une preuve mathématique, et diffusé 53 images d’utilisateurs sur des sites externes.