Des réseaux sur graphes en boucle

MMarc

Une étude publiée sur arXiv examine comment des réseaux de neurones sur graphes peuvent traiter des graphes plus grands que ceux rencontrés pendant l’entraînement. Elle porte sur des tâches où un calcul local est répété et où la portée des dépendances à prendre en compte augmente avec la taille du graphe. Pour répondre à ce problème, les auteurs proposent de préentraîner un réseau à apprendre une règle de mise à jour locale, puis de réutiliser le même processeur au-delà de la profondeur utilisée pendant l’entraînement, sans réentraînement. L’idée est d’appliquer cette règle de manière itérative : à chaque étape, le réseau reprend le calcul local et étend ainsi la portée de l’information, au lieu de rester limité à la profondeur initialement entraînée. L’article distingue 6 schémas de réseaux en boucle, pour séparer les effets de l’extension de profondeur, du réglage fin et de l’adaptation dite « freeze-and-steer ». Cette classification examine donc différentes façons de prolonger le calcul, avec ou sans ajustement du réseau, plutôt que de traiter toutes les stratégies comme équivalentes. Elle s’intéresse ainsi à la possibilité de conserver une règle locale apprise tout en l’appliquant au-delà de la profondeur d’entraînement, sur des graphes dont la taille accroît la portée de dépendance nécessaire au calcul.