Comprendre le fonctionnement interne des modèles d’intelligence artificielle

LLéna

Tom McGrath, scientifique en chef de Goodfire AI, explique que les chaînes de pensée textuelles des modèles deviennent difficiles à interpréter et que les développeurs envisagent d’autres méthodes pour comprendre leurs décisions, selon The Information. Ces chaînes sont des textes associés au raisonnement des modèles, mais leur lecture ne permet pas toujours d’en éclairer les décisions, selon le constat de McGrath. La difficulté porte donc sur la manière de comprendre ce qui conduit un modèle à produire une réponse, et pas seulement sur la lecture du texte qu’il génère. L’interprétabilité mécaniste propose d’étudier le fonctionnement interne des modèles d’intelligence artificielle, plutôt que de se limiter à observer leur comportement extérieur. Cette approche cherche ainsi à expliquer les mécanismes internes des modèles et à mieux comprendre leurs décisions, sans confondre l’examen de leur fonctionnement avec la lecture de leurs chaînes de pensée textuelles. Le sujet attire déjà des acteurs de différentes tailles : de grandes entreprises d’intelligence artificielle ont constitué des équipes dédiées à l’interprétabilité mécaniste. Plusieurs start-up se sont également lancées dans ce domaine, parmi lesquelles Goodfire AI, l’entreprise où travaille Tom McGrath. Pour les développeurs, cette voie constitue une autre méthode d’étude des modèles, alors que leurs chaînes de pensée textuelles deviennent plus difficiles à interpréter. L’enjeu est donc de chercher à comprendre les décisions en examinant le fonctionnement interne des modèles, et non uniquement ce qu’ils donnent à voir de l’extérieur.