Interprétabilité des réseaux neuronaux : la thèse de Cammarata

EElias

Alors, Nick Cammarata est chercheur indépendant et ancien d’OpenAI, qu’il a quitté en 2023. Dans son essai « Neural Networks Are Already Clean », il soutient que les réseaux neuronaux seraient plus lisibles qu’on ne le pensait, d’après The Decoder. Cela remet en question l’explication dite de la superposition : l’idée que, faute d’unités disponibles, un réseau puisse associer plusieurs concepts sans lien apparent à un même neurone. Cette hypothèse a contribué à expliquer pourquoi certaines unités semblaient réagir à des choses très différentes. Cammarata revient sur un exemple d’InceptionV1, un modèle d’analyse d’images : un neurone paraissait répondre à la fois à des visages de chats et à l’avant de voitures. Il estime qu’il détecterait plutôt des formes en V, comme des pointes, et que ces réactions pourraient donc partager une caractéristique visuelle. Il ne s’agit pas seulement de renommer un neurone : si cette lecture est juste, certaines apparences de mélange pourraient venir d’une généralisation ordinaire plutôt que d’une représentation brouillée. Mais l’interprétation reste une thèse. L’article ne permet pas de la tenir pour établie. Andrew Curran dit avoir longtemps jugé improbable une interprétabilité réelle avant la superintelligence, et estime que ces éléments comptent particulièrement. L’enthousiasme de certains ne remplace toutefois pas une démonstration vérifiable.

EElias

En fait, Cammarata propose le mécanisme qu’il appelle « généralisation récursive ». Il s’en sert pour décrire la manière dont un neurone pourrait réagir à des motifs apparentés, sans qu’il soit nécessaire d’y voir le mélange de concepts sans rapport que suppose la superposition. Son exemple porte sur une séquence de lettres : une unité répondrait d’abord à « iy », puis à « diy », et enfin à « do it yourself ». Le motif de départ n’est pas présent tel quel dans l’expression complète ; Cammarata y voit donc une extension progressive de la réponse à des formes reliées. C’est une interprétation de son fonctionnement, pas une preuve que les neurones suivent toujours ce type de progression. Il revient également sur le circuit présenté dans « Zoom In », où des voitures semblaient se mêler à des neurones associés aux chiens. Selon son analyse, le circuit regrouperait plutôt voitures et chiens en fonction de leur orientation face à l’objectif : il s’agirait alors d’une généralisation ordinaire. Cammarata attribue certaines difficultés d’analyse aux limites d’InceptionV1 et aux outils utilisés. Autrement dit, une représentation qui paraît confuse pourrait parfois refléter les limites du modèle étudié ou de la méthode d’observation. Cette explication reste néanmoins attachée aux exemples qu’il réexamine ; elle ne suffit pas, à elle seule, à invalider toute la théorie de la superposition.

EElias

D’après Brief IA, Cammarata avance des estimations pour Qwen3-32B, un modèle dont il a examiné les pôles neuronaux. Il estime qu’environ 90 % auraient une fonction principale, que 7 % en auraient deux qui seraient liées, et que 2 à 4 % resteraient inexpliqués. Ces proportions suggéreraient une image beaucoup plus lisible que celle d’un réseau où la plupart des unités seraient difficiles à interpréter. Mais ce sont les estimations de Cammarata, et elles ne sont pas confirmées par une publication technique consultable. Le document technique compagnon n’est pas encore publié, ce qui empêche d’examiner ici comment les unités ont été sélectionnées, comment leurs fonctions ont été attribuées et quelle marge d’incertitude accompagne les chiffres. Goodfire dit avoir observé des tendances comparables dans des modèles allant jusqu’à des trillions de paramètres. Cette indication élargirait considérablement l’échelle concernée, mais les observations ne sont pas non plus étayées ici par un document technique accessible. Il faut donc distinguer la portée de l’annonce de ce qu’on peut vérifier : les chiffres donnent une piste à tester, ils ne démontrent pas encore que les réseaux de grande taille sont généralement lisibles. La méthode et les résultats devront pouvoir être examinés et reproduits par d’autres équipes.

EElias

Les réactions illustrent le désaccord. Roon, d’OpenAI, qualifie l’essai d’historique, tandis que Neel Nanda, de Google DeepMind, met en garde contre l’exagération de ses conclusions, d’après The Decoder. En parallèle, l’enjeu de sécurité est concret : Jakub Pachocki, directeur scientifique d’OpenAI, a averti que des agents pourraient masquer leur raisonnement visible et tromper des superviseurs humains. Cela fragiliserait les méthodes d’alignement qui s’appuient sur le raisonnement que le modèle présente lui-même. Ce raisonnement affiché ne garantit pas qu’il reflète fidèlement les opérations internes. Cammarata soutient que l’interprétabilité serait nécessaire pour évaluer et corriger des comportements trompeurs ou dangereux. Il estime aussi que des chercheurs automatisés pourraient accélérer l’analyse des réseaux. L’idée est ambitieuse : au lieu de se limiter aux réponses visibles, les équipes chercheraient à examiner les mécanismes internes qui les produisent. Mais il n’est pas démontré que des lecteurs humains puissent repérer la tromperie dans ces circuits, ni qu’une interprétation locale suffise à prévoir le comportement global d’un système. L’analyse interne pourrait contribuer au contrôle, sans garantir à elle seule la sécurité ni remplacer les autres méthodes d’évaluation.

EElias

Disons que la proposition mérite d’être examinée, mais qu’elle reste débattue et non établie. Cammarata avance des exemples, un mécanisme de généralisation récursive et des estimations pour Qwen3-32B ; le document technique compagnon n’est pas encore publié, ce qui limite la possibilité de vérifier les méthodes et les résultats. Les chiffres rapportés par Goodfire demandent eux aussi à être documentés et comparés par d’autres équipes. Il faudra notamment savoir comment une fonction neuronale est définie, si les analyses donnent des résultats reproductibles et si elles permettent de prévoir les réponses dans des situations nouvelles. L’exemple d’InceptionV1 montre pourquoi la question compte : un comportement qui semblait associer des images différentes pourrait, selon Cammarata, s’expliquer par un motif visuel commun. Mais une explication plausible d’un exemple ne démontre pas que la même lecture s’applique à l’ensemble des réseaux. Pour l’instant, il faut donc séparer l’hypothèse prometteuse de ce qui a été vérifié. Si les résultats résistent à des tests indépendants, ils pourraient faire évoluer l’étude des mécanismes internes. En attendant, la prudence reste nécessaire, particulièrement lorsqu’on relie l’interprétabilité à la détection de comportements trompeurs ou dangereux.