Le frein d’urgence des IA avancées

SSacha

D’après Bloomberg, Satya Nadella estime que les entreprises devraient considérer les modèles d’intelligence artificielle puissants comme de possibles menaces internes. Il leur recommande de partir du principe qu’un modèle peut être compromis et de prévoir des protections dès sa conception. Cela ne signifie pas qu’il affirme que chaque modèle est déjà piraté ou malveillant : c’est une hypothèse de prudence pour organiser la sécurité. Son appel concerne notamment les modèles dits agentiques, capables d’enchaîner des actions plutôt que de se limiter à fournir une réponse. Pour ces systèmes, il préconise un frein d’urgence afin qu’ils ne deviennent pas incontrôlables. C’est donc l’architecture de confiance, et pas seulement la qualité d’une réponse, qui est au cœur de sa proposition.

SSacha

Selon TechCrunch, Nadella préconise de séparer le modèle du système qui orchestre son travail, et d’externaliser les contrôles et les garde-fous. On peut imaginer un moteur et, autour de lui, un tableau de commande indépendant : le modèle produit des réponses ou accomplit des actions, tandis qu’un système distinct encadre et surveille son travail. Il demande aussi que chaque action importante soit consignée dans une preuve lisible par un humain et protégée contre toute altération. Ainsi, une personne chargée de vérifier le déroulement d’une tâche pourrait consulter ce qui a été fait, au lieu de ne voir que le résultat final. Une personne autorisée devrait pouvoir mettre le modèle en pause ou l’arrêter en cours de tâche. Le frein d’urgence désigne donc une possibilité concrète d’intervention, associée à des contrôles distincts et à des preuves vérifiables. Ce sont plusieurs éléments qui se complètent : séparer les rôles, conserver des traces et garder la possibilité de reprendre la main.

SSacha

La proposition de Nadella porte sur les entreprises qui utilisent des modèles puissants, en particulier ceux capables d’agir au lieu de simplement répondre à une question. Imaginez un assistant chargé d’effectuer plusieurs opérations successives : il pourrait, par exemple, avancer étape par étape dans une tâche confiée par l’entreprise. Les traces lisibles par un humain permettraient d’examiner les actions importantes, et pas seulement le résultat final. Leur protection contre les modifications aiderait à vérifier que les éléments consultés n’ont pas été altérés. Une personne autorisée pourrait aussi intervenir pendant la tâche, en mettant le modèle en pause ou en l’arrêtant. Le principe est donc de rendre possible un contrôle pendant l’exécution, plutôt que de découvrir uniquement après coup qu’une action a été menée. Il ne s’agit pas nécessairement de lire chaque détail en permanence, mais de pouvoir examiner les actions importantes et de disposer d’un moyen d’interruption.

SSacha

D’après The Verge, Nadella critique une conception des intelligences artificielles comme des boîtes noires imbriquées, dont on accepterait ou rejetterait simplement les conseils et les actions. Dans cette approche, les utilisateurs peuvent se retrouver face à une recommandation ou à un résultat sans disposer d’une vue claire sur les opérations qui l’ont produit. Nadella plaide plutôt pour des systèmes plus transparents, observables et confinables. Il demande aussi que les actions importantes laissent des preuves lisibles par un humain et protégées contre toute altération. Ces éléments pourraient aider à examiner le déroulement d’une tâche et à intervenir si nécessaire. Et si les preuves peuvent être modifiées sans que cela se voie, elles perdent leur intérêt : leur protection compte autant que leur lisibilité. L’objectif est donc de pouvoir mieux comprendre et contenir les actions d’un modèle, sans prétendre éliminer tout risque.

SSacha

Satya Nadella appelle les entreprises à revoir l’architecture de confiance des modèles d’intelligence artificielle avancés. Il propose de séparer le modèle du système qui orchestre son travail, d’externaliser les contrôles, de consigner les actions importantes et de permettre à une personne autorisée d’interrompre une tâche. L’enjeu est de vérifier si les actions du modèle peuvent être observées, examinées et arrêtées, plutôt que de juger seulement la réponse finale. Elles visent à rendre possible une intervention et à laisser des éléments vérifiables lorsqu’un système agit.