Satya Nadella appelle à prévoir un frein d’urgence pour les IA avancées

LLéna

Satya Nadella, le président-directeur général de Microsoft, appelle les entreprises à traiter les modèles d’intelligence artificielle puissants comme de possibles menaces internes et à prévoir un frein d’urgence, selon Bloomberg. Samedi, il recommande de partir du principe qu’un modèle peut être compromis, surtout lorsqu’il agit comme un agent et accomplit des tâches, afin d’empêcher ces systèmes de devenir incontrôlables. Nadella préconise aussi de séparer le modèle du système qui orchestre son travail et de confier les contrôles et les garde-fous à des systèmes extérieurs au modèle, selon TechCrunch. Il demande que chaque action importante soit consignée dans des preuves lisibles par un humain et protégées contre toute altération, pour que les opérateurs puissent examiner ce que le modèle a fait. Une personne autorisée devrait aussi pouvoir mettre le modèle en pause ou l’arrêter pendant une tâche, sans attendre qu’il ait terminé. Nadella plaide pour abandonner les architectures opaques où les intelligences artificielles apparaissent comme des systèmes imbriqués, et dont on accepte ou rejette simplement les conseils et les actions, selon The Verge. Il privilégie des systèmes plus transparents, observables et confinables, avec des traces qui peuvent être consultées et vérifiées. Son approche associe donc des contrôles distincts du modèle, des preuves vérifiables et une possibilité d’intervention humaine, plutôt que de faire reposer la sécurité sur le modèle seul.