Des réseaux partiellement entraînables

MMarc

Une équipe de recherche étudie comment les réseaux de neurones partiellement entraînables passent de caractéristiques aléatoires fixes à des représentations qui s’adaptent aux données, dans une prépublication déposée vendredi sur arXiv. La question est de savoir comment la qualité de l’approximation évolue quand on augmente la part des paramètres que le réseau peut ajuster. Pour se représenter la méthode, imaginez une table de réglages : certains boutons restent bloqués, tandis que d’autres peuvent être tournés. Les chercheurs font varier ces paramètres entraînables, puis étudient à la fois les bornes théoriques d’approximation et les erreurs observées pendant l’entraînement. Le résultat est une transition progressive. Les progrès sont rapides au début, puis chaque augmentation de la part entraînable apporte des gains plus modestes. La transition est plus marquée lorsque le réglage initial du réseau est davantage décalé. L’étude établit aussi une borne d’approximation pour des réseaux à 2 couches. Elle concerne l’erreur quadratique, une mesure qui pénalise davantage les grandes erreurs, et dépend notamment de la largeur du réseau, c’est-à-dire du nombre d’unités dans ses couches, ainsi que de la proportion de paramètres entraînables. Ce résultat est établi sous des hypothèses précises : une décroissance spectrale polynomiale d’exposant supérieur à 1, et une condition de compatibilité des leviers, qui décrit la contribution des paramètres à l’approximation. Un exemple numérique porte sur des caractéristiques de type ReLU réparties sur une sphère. Dans une configuration de dimension 5 et avec une échelle d’initialisation de 10, environ 4,1 % de paramètres entraînables correspondent à 90 % de la réduction de la borne obtenue en passant d’aucun paramètre entraînable à tous les paramètres entraînables. Ce chiffre décrit cette configuration théorique.