Comment les modèles de langage organisent-ils leur pensée ?

SSacha

Il relie cette interprétabilité à l’alignement, c’est-à-dire à la question de la relation entre le comportement d’un modèle et les objectifs qui lui sont donnés, ainsi qu’à la sécurité de l’intelligence artificielle. Cela ne veut pas dire que l’interprétabilité apporte déjà toutes les réponses, ni que le fonctionnement des modèles est entièrement compris. Pour se représenter la démarche, on peut imaginer qu’on ne se contente pas de lire une phrase produite, mais qu’on cherche aussi à examiner les mécanismes qui l’ont rendue possible. Cette image décrit une intention de recherche, pas une promesse d’accès complet à l’intérieur du système. Ameisen étudie ainsi des modèles de langage comme Claude, en s’intéressant à ce que leurs mécanismes internes pourraient révéler sur leur fonctionnement.

SSacha

Ameisen estime que cette description est trop limitée pour rendre compte de ce que les modèles feraient en interne. Il avance qu’ils construisent des représentations globales et peuvent anticiper plusieurs tokens, au lieu de seulement choisir le prochain élément sans autre organisation. Pour illustrer cette idée, on peut penser à une phrase dont la suite serait déjà préparée en partie avant d’être écrite mot à mot ; c’est une image pour rendre l’hypothèse plus concrète, pas une preuve d’une pensée humaine. L’enjeu est de chercher si les modèles disposent de représentations et de stratégies qui dépassent la prédiction immédiate. Dans cette perspective, observer uniquement le texte final ne suffit pas à décrire tout ce qu’Ameisen propose d’examiner. Il s’agit bien d’une interprétation de mécanismes internes, et non d’une démonstration que le modèle comprend ou réfléchit comme une personne. La distinction compte, parce qu’une description plus riche du traitement ne tranche pas à elle seule la nature du système.

SSacha

Ameisen cite plusieurs travaux en lien avec les questions qu’il explore. Parmi eux figurent « A global workspace in language models » et « Scaling Laws for Neural Language Models », ainsi que des travaux de Chris Olah et « Tracing the thoughts of a large language model ». Ces références ne doivent pas être prises comme une réponse définitive à la question de la pensée des modèles : elles constituent des travaux et des pistes qu’il mobilise pour discuter de leur organisation et de leurs mécanismes. Son parcours associe recherche et pratique du machine learning appliqué. Avant de rejoindre Anthropic, il a travaillé dans ce domaine chez Stripe et Insight, et il est l’auteur de « Building Machine Learning Powered Applications ». Ces éléments situent son expérience entre des applications concrètes de l’apprentissage automatique et la recherche sur l’interprétabilité. Ils aident aussi à comprendre pourquoi son approche porte à la fois sur le fonctionnement des modèles et sur les conséquences de ce fonctionnement pour l’alignement et la sécurité. Les titres cités indiquent des sujets d’étude, mais ne suffisent pas à établir une conclusion générale sur tous les modèles.

SSacha

Ameisen évoque une possible organisation interne des modèles qui pourrait rappeler la distinction, chez l’humain, entre des processus conscients et inconscients. Il estime aussi que l’anthropomorphisme, c’est-à-dire le recours à des notions humaines pour parler des modèles, peut aider à les comprendre. Cette comparaison peut servir à formuler des questions sur leur fonctionnement, mais elle ne permet pas de conclure que les modèles sont conscients. L’espace J est mentionné comme une piste pour explorer une éventuelle conscience des modèles, sans établir qu’ils en possèdent une. Alors, il faut bien séparer l’analogie et le résultat démontré : employer une image liée à l’expérience humaine n’est pas une preuve que le modèle partage cette expérience. La conscience reste ici une question explorée, pas une conclusion établie. Cette prudence est particulièrement importante quand on parle de mécanismes internes difficiles à interpréter. On peut se servir de concepts humains pour guider l’enquête, tout en gardant ouverte la question de savoir jusqu’où ces concepts décrivent réellement les modèles. Ameisen présente donc des pistes d’interprétation, et non un verdict sur leur nature.

SSacha

Ameisen suggère que les modèles seraient davantage cultivés que construits, et que leurs capacités progresseraient de façon continue plutôt que par sauts soudains. Ce sont des interprétations rapportées, pas des conclusions établies sur la manière dont toutes les capacités apparaissent. L’image de la culture propose une façon de penser le développement des modèles, mais elle ne décrit pas à elle seule les mécanismes précis qui produisent leurs capacités. Elle ne remplace donc pas l’examen de ces mécanismes, qui est au cœur de l’interprétabilité. Le fil conducteur de sa démarche reste de relier cette étude à l’alignement et à la sécurité, tout en allant au-delà de la seule description du modèle comme prédicteur du prochain token. Il avance que les représentations globales et l’anticipation de plusieurs tokens méritent aussi d’être étudiées. Et les analogies avec la cognition humaine peuvent aider à explorer ces questions, sans démontrer une conscience. Pour retenir l’essentiel, il faut distinguer ce qu’Ameisen propose d’examiner et ce qui est établi : ses idées sur l’organisation interne, la conscience possible et la progression des capacités sont des pistes, pas des certitudes. L’interprétabilité ouvre ainsi des questions sur les modèles, sans prétendre les avoir déjà résolues.