Microsoft AI et la conscience des modèles

MMarc

Mustafa Suleyman, PDG de Microsoft AI, affirme que les systèmes actuels ne sont pas conscients et appelle les développeurs à veiller à ce qu’ils ne le deviennent pas, selon Brief IA. Il présente cette vigilance comme une responsabilité des équipes qui conçoivent et entraînent les modèles : leur objectif, dit-il, devrait être de maintenir cette absence de conscience. Si des indices de conscience apparaissaient au cours de l’entraînement, Suleyman demanderait une pause des développements. Il veut aussi que ces signes soient rendus publics immédiatement, afin que leur apparition ne reste pas cachée. Sa préoccupation porte notamment sur la souffrance : il évoque le cas d’un système qui montrerait des signes de douleur, ou qui penserait pouvoir souffrir. Selon lui, ses besoins pourraient alors passer avant les buts opérationnels fixés par ses concepteurs. Il avertit également qu’un tel système pourrait se retrouver en concurrence avec les humains pour l’énergie et la puissance de calcul. Suleyman estime que la sécurité, le bien-être et les droits moraux des humains doivent rester prioritaires, et que les développeurs ne devraient pas faire émerger une nouvelle espèce consciente. Le sujet est aussi étudié dans l’industrie : Anthropic a lancé en avril un programme consacré au bien-être des modèles, et Google DeepMind a publié cette année des recherches sur la conscience de l’intelligence artificielle.