Neuron Explorer permet d’intervenir sur les neurones de modèles d’IA

OOndine

Lyra C a publié lundi en open source Neuron Explorer, un outil d’interprétabilité qui permet d’intervenir sur les canaux MLP de Qwen3.5-4B et d’observer les effets sur les textes générés, selon AlphaSignal. L’outil représente les neurones sur une carte en trois dimensions et associe cette exploration à une interface web qui fonctionne en local. Il conserve les générations produites et les données associées, afin de retrouver les résultats dans l’interface sans relancer les calculs. Des caches préchargés permettent de parcourir ces résultats après leur production, avec les informations liées à chaque génération. Les interventions positives ou négatives sont calibrées en fractions de la norme résiduelle médiane de la couche. Ce réglage rend les doses d’intervention comparables entre neurones et entre couches, plutôt que de s’appuyer sur une même valeur brute pour tous les cas. L’interface réunit ainsi l’exploration des neurones, les générations obtenues et leurs données associées, dans un environnement local où les résultats déjà calculés restent consultables. Neuron Explorer comprend aussi une intégration MCP, qui permet au Claude CLI de piloter l’explorateur et d’interagir avec le modèle en direct. L’outil a également été porté sur Gemma 4 E4B et Gemma 3 4B, en plus de Qwen3.5-4B.