Mesurer le bruit de fond de l’interprétabilité

LLéna

Une étude publiée sur arXiv examine la fiabilité des artefacts d’interprétabilité calibrés avec des poids en pleine précision, puis utilisés sur des modèles quantifiés. Ce transfert consiste à réutiliser, après quantification, des éléments construits sur le modèle initial ; l’étude souligne qu’il faut mesurer la fiabilité de cette réutilisation, plutôt que de prendre une mesure de ressemblance pour une preuve suffisante. Les auteurs mettent en garde contre une lecture isolée de la similarité cosinus, de la corrélation ou de l’AUROC, c’est-à-dire l’aire sous la courbe : sans connaître leur bruit de fond, ces statistiques ne suffisent pas à évaluer le transfert. Pour préciser cette limite, ils étudient un estimateur de direction construit par différence des moyennes et considèrent le plancher de similarité entre deux moitiés d’un échantillon. Ce plancher dépend du paramètre sans dimension κ, égal à n fois ρ au carré, divisé par d ; l’approximation classique donnée pour la similarité cosinus attendue est un sur un plus quatre divisé par κ. La valeur mesurée ne s’interprète donc pas seule : elle doit être mise en regard de ce niveau de référence, qui dépend de κ. Sur les activations de Qwen2.5-1.5B-Instruct, la séparation de classes ρ mesurée par les auteurs varie de 33 à 61 selon la profondeur du modèle. Cette variation signifie que la séparation n’est pas identique à toutes les profondeurs ; pour évaluer un transfert après quantification, l’étude insiste donc sur la nécessité de tenir compte du bruit de fond avant de tirer une conclusion de mesures telles que la similarité cosinus.