Le retour des réseaux profonds

CCapucine

En 2006, Geoffrey Hinton et ses coauteurs publient une méthode destinée à entraîner des réseaux de neurones comportant de nombreuses couches. Le principe est de procéder couche par couche : la méthode organise donc l’entraînement autour des différentes couches du réseau, plutôt que de les traiter comme un ensemble indifférencié. La publication remet les réseaux profonds en mouvement dans la recherche : elle relance l’intérêt pour ces réseaux, alors que les réseaux de neurones suscitent peu de conviction parmi les chercheurs. Le changement tient à une méthode d’entraînement, appliquée à des réseaux qui comportent de nombreuses couches, et à l’attention renouvelée qu’elle contribue à susciter. Dans les années qui suivent, l’expression « apprentissage profond » se répand. Les mots arrivent ainsi après la publication de la méthode et après le regain d’intérêt pour les réseaux profonds : l’expression se diffuse dans les années suivantes, tandis que les travaux de 2006 avaient déjà relancé l’attention portée à ces réseaux. Ce moment associe donc une façon d’entraîner couche par couche des réseaux à nombreuses couches et le retour d’intérêt pour les réseaux profonds, puis l’usage croissant d’une expression pour parler de l’apprentissage profond.