Les LSTM, une mémoire pour les réseaux

TThéa

En 1997, Sepp Hochreiter et Jürgen Schmidhuber présentent les réseaux LSTM. Il s’agit de réseaux récurrents, capables de retenir une information sur de longues séquences. Pour comprendre leur principe, imaginons simplement une suite d’éléments qui se succèdent : l’information rencontrée au début peut rester présente lorsque le réseau traite les éléments suivants. Dans les années 2010, de grands services en ligne s’en servent pour deux applications : la reconnaissance vocale et la traduction automatique. Les LSTM passent donc d’un principe de mémoire pour les réseaux récurrents à des applications utilisées par de grands services en ligne. Puis leur place évolue : les LSTM sont largement remplacés par l’architecture Transformer. Ce remplacement marque la suite de leur parcours, après une période où ils ont servi à la reconnaissance vocale et à la traduction automatique. Leur histoire relie ainsi une idée de mémoire pour les réseaux à des usages concrets, avant le passage à une autre architecture.