Des réseaux modulaires pour classer des requêtes

OOndine

Une étude déposée en prépublication sur arXiv examine comment un réseau modulaire peut classer une requête et lui associer plusieurs étiquettes. Elle relie deux modèles de réseaux : les modèles de Hopfield et les machines de Boltzmann restreintes, souvent abrégées en R B M. (36108, 36109) Imaginez plusieurs équipes qui examinent chacune une partie d’un même dossier. Dans chaque équipe, les éléments associés se renforcent. Entre les équipes, les interactions dites anti-hebbiennes instaurent une compétition entre les modules. Le réseau réunit ainsi L modèles de Hopfield. Les auteurs établissent une représentation mathématique équivalente : le système peut aussi être décrit comme un assemblage de L machines de Boltzmann restreintes, dont les couches cachées sont reliées entre elles. Cette équivalence étend au cas modulaire un lien déjà étudié entre les modèles de Hopfield et les machines de Boltzmann restreintes. (36108) Pour tester cette architecture, les chercheurs encodent une requête sur les couches visibles du réseau. Ils entraînent le modèle avec une méthode appelée divergence contrastive à un pas. Le but est de transformer la requête en un tuple, autrement dit un groupe ordonné de L étiquettes, lues sur les couches cachées. (36109) Le résultat théorique principal concerne une requête composée de L motifs mutuellement orthogonaux en moyenne. Dans cette condition précise, les poids du réseau calculés comme des moyennes sur les exemples d’entraînement forment un point fixe de la dynamique d’apprentissage : ils ne sont pas déplacés par cette dynamique. Les auteurs établissent aussi une borne explicite sur le déplacement résiduel, sans supposer que le système est infiniment grand. (36110) L’étude examine enfin une tâche plus difficile, où chaque module reçoit un mélange de motifs. Dans les simulations, le même réglage des poids permet au réseau de classer les éléments tout en séparant les motifs mélangés. Mais ce résultat repose sur des expériences numériques, et le résultat théorique dépend de la condition d’orthogonalité moyenne. (36110)