Adam et la descente de gradient naturel

MMarc

Adam ne reproduit pas toujours la descente de gradient naturel : une étude publiée sur arXiv mesure un écart qui dépend de la forme du problème étudié. Les auteurs comparent la règle complète d’Adam, momentum compris, à cette méthode de descente, en représentant Adam comme une approximation diagonale de la matrice de Fisher empirique. Cette approximation comporte plusieurs différences avec la méthode de référence : elle tronque la matrice en ne gardant que sa diagonale, remplace les étiquettes empiriques et introduit un décalage temporel. Ces choix sont donc pris en compte dans la comparaison, plutôt que d’examiner seulement une version simplifiée de la règle d’Adam. Pour mesurer l’écart, l’étude utilise la métrique sans échelle γ(Δθ) et examine quatre paysages de perte : deux régressions linéaires, l’une bien conditionnée et l’autre mal conditionnée, une régression logistique et un petit réseau neuronal non convexe. Le résultat varie nettement selon le contexte : l’écart géométrique reste faible dans les situations bien conditionnées, mais augmente lorsque le problème est mal conditionné. Dans le petit réseau neuronal testé, le désalignement atteint environ 10³. Autrement dit, assimiler Adam à une version approchée de la descente de gradient naturel peut être pertinent dans certains cas, mais ne décrit pas uniformément son comportement : la proximité dépend du paysage de perte, et l’écart peut devenir très important. Le résultat souligne ainsi que cette proximité ne peut pas être tenue pour acquise d’un problème à l’autre.