Un chercheur de Google DeepMind démissionne face à la course à l’IA

SSacha

D’après The Decoder, Robert O’Callahan, expert technique chez Google DeepMind en Nouvelle-Zélande, aurait quitté l’entreprise parce qu’il estime que le développement de l’intelligence artificielle avance beaucoup trop vite. Son départ s’inscrit dans une décision personnelle : il travaillait sur des outils de conception de puces qui contribuaient à rendre l’IA moins coûteuse et plus rapide, et il dit ne plus pouvoir justifier cette contribution. Mais il ne présente pas l’arrivée d’un tel système comme certaine : il décrit le risque comme réel, tout en reconnaissant qu’il reste incertain. Ce qu’il met en cause, c’est donc le fait de poursuivre cet objectif à court terme malgré cette incertitude, et non toute recherche en intelligence artificielle. Son départ marque une limite qu’il pose à sa propre participation ; il prévoit d’ailleurs de rester dans le domaine, sur des projets qu’il estime clairement au service des humains. Pour comprendre cette rupture, il faut regarder à la fois la contribution technique dont il parle et les dangers qu’il associe à l’accélération du secteur.

SSacha

O’Callahan travaillait sur des outils de conception de puces destinées à l’intelligence artificielle. Il estime que, dans le contexte actuel, cette contribution ne peut plus être justifiée, parce qu’il juge déjà trop rapide le rythme général des progrès. Sa démission exprime ainsi un désaccord sur sa contribution actuelle et sur le rythme du développement, plutôt qu’un rejet de tout travail dans ce domaine. La question devient alors celle du niveau de risque qui, à ses yeux, justifie une telle rupture.

SSacha

O’Callahan décrit le risque lié à une intelligence artificielle superintelligente comme réel, mais incertain. Il dit ne pas être convaincu que la probabilité d’un tel développement soit de 100 %, et ne présente donc pas son apparition comme une certitude. En revanche, il estime que le risque est suffisamment sérieux pour rendre irresponsable la recherche d’une superintelligence à court terme, et appelle à déployer d’importants efforts pour réduire les dangers liés à l’IA. Son raisonnement ne repose donc pas sur la prétention de savoir exactement ce qui va arriver : il repose sur son appréciation du niveau de risque et sur la prudence qu’il juge nécessaire avant d’accélérer. On peut distinguer, dans sa position, l’incertitude sur l’issue et son jugement sur la conduite à tenir face à cette incertitude. Il critique en particulier la recherche rapide d’une intelligence superintelligente, sans conclure que toute recherche en IA devrait cesser. Après son départ, il prévoit de poursuivre des travaux dans ce domaine, notamment sur des agents utilisés pour déboguer du code. Son alerte ne porte d’ailleurs pas uniquement sur ce scénario extrême, mais aussi sur des risques qu’il associe plus largement aux usages et au développement de l’intelligence artificielle.

SSacha

Dans les risques qu’il signale, O’Callahan évoquerait la soumission cognitive, ainsi que la psychose et l’isolement liés à l’IA ; il s’agit de préoccupations qu’il formule, pas d’effets qu’il présente comme inévitables pour chaque personne. Il alerterait aussi sur la dépendance cognitive, autrement dit sur la place que les outils pourraient prendre dans la réflexion et les décisions humaines. À ces inquiétudes s’ajoutent la concentration du pouvoir, les perturbations économiques, les menaces en cybersécurité et le manque de responsabilité lorsque des dommages surviennent. O’Callahan estime que l’IA cause davantage de préjudices qu’elle n’apporte d’avantages, mais cette appréciation n’est pas un bilan chiffré. Les risques qu’il énumère ne sont pas tous liés à l’hypothèse d’une superintelligence : certains concernent les personnes et leur rapport aux outils, d’autres l’économie, la sécurité ou la répartition du pouvoir. Il appelle à les prendre au sérieux et à consacrer des efforts à les réduire, sans affirmer que tous se produiront nécessairement. Il cite l’essai « If Anyone Builds It » d’Eliezer Yudkowsky et Nate Soares, mais ne reprend pas l’idée que la catastrophe serait inévitable. Cette nuance compte : son alerte décrit plusieurs dangers possibles, sans les présenter comme une prédiction certaine.

SSacha

O’Callahan affirme que plusieurs de ses collègues partageraient ses inquiétudes, mais qu’ils les exprimeraient rarement en public. C’est son témoignage sur son environnement professionnel, et il ne donne pas de chiffre pour mesurer combien de personnes seraient concernées. Brief IA indique qu’il a publié sur son blog la lettre de démission envoyée à ses collègues, et que Google a refusé de commenter son départ. Il ne prévoit pas pour autant de quitter le domaine de l’intelligence artificielle : il compte poursuivre des travaux, notamment sur l’utilisation d’agents pour déboguer du code. Il souhaite s’orienter vers des projets qu’il estime clairement au service des humains. Bon, le contraste qu’il établit concerne donc sa contribution et les objectifs auxquels il accepte de participer, pas un refus de toute technologie d’IA. Il veut continuer à travailler sur le sujet, tout en choisissant des projets qu’il puisse défendre comme utiles aux personnes. On ne sait pas, à partir de ces éléments, comment ses prochains travaux seront organisés ; ce qui est annoncé, c’est sa volonté de rester actif dans le domaine et de privilégier des projets qu’il juge sans ambiguïté bénéfiques.

SSacha

Le choix de Robert O’Callahan ferait ressortir le lien entre son travail sur des outils de conception de puces et son inquiétude face au rythme du développement de l’IA. Ces outils contribuaient à rendre l’intelligence artificielle moins coûteuse et plus rapide, et il dit ne plus pouvoir justifier sa contribution. Il juge irresponsable de chercher à développer une IA superintelligente dans un avenir proche, sans affirmer qu’un tel système apparaîtra avec certitude. C’est parce qu’il considère le risque suffisamment sérieux malgré l’incertitude qu’il appelle à des efforts importants pour le réduire. Son alerte comprend aussi des enjeux comme la dépendance cognitive, la concentration du pouvoir, les perturbations économiques, la cybersécurité et le manque de responsabilité. Il ne présente pas ces préoccupations comme une preuve que chaque dommage annoncé va se produire ; il les avance comme des risques auxquels il faudrait prêter attention. Et sa démarche ne signifie pas un retrait complet de l’intelligence artificielle : il prévoit de poursuivre des travaux, notamment sur des agents qui aident au débogage du code. La direction qu’il souhaite prendre est celle de projets qu’il estime clairement au service des humains. Au fond, sa décision associe le refus d’une contribution qu’il ne peut plus défendre et la volonté de continuer autrement dans le même domaine.