Nesterov et les points selle

MMarc

Une étude publiée dans Foundations of Computational Mathematics montre que le gradient accéléré de Nesterov à momentum variable évite presque sûrement les points selle stricts, selon AlphaSignal. En optimisation non convexe, l’algorithme ne converge vers un point selle strict que pour un ensemble de conditions initiales de mesure nulle. Ainsi, lorsque l’initialisation est tirée d’une distribution continue, la probabilité de converger vers un tel point est nulle. L’étude propose aussi une famille générale de méthodes de type Nesterov et établit que celles-ci peuvent sortir des voisinages de points selle à vitesse linéaire, en O du logarithme de l’inverse de la précision recherchée, soit O de log un sur epsilon itérations. Les auteurs présentent également un calendrier de momentum ajustable, bêta indice k égal k divisé par k plus 3 moins r, qui accélère cette sortie tout en préservant les garanties de convergence locale près des minima fortement convexes. Dans des expériences de récupération de phase et de factorisation matricielle, ce calendrier surpasse le Nesterov classique ; ces résultats concernent ces deux tâches et ne démontrent pas qu’un entraînement de modèle d’intelligence artificielle sera nécessairement plus rapide ou plus fiable.