BERT, lire dans les deux sens

CCapucine

En 2018, Google présente BERT, un modèle de langage fondé sur l’architecture Transformer. Son apprentissage s’organise autour d’un exercice : dans une phrase, certains mots sont masqués, et le modèle doit les deviner. Pour retrouver un mot absent, BERT tient compte de ce qui l’entoure. Il prend en considération les mots qui viennent avant, mais aussi ceux qui viennent après. Le contexte est donc lu dans les deux sens, de part et d’autre du mot masqué, plutôt qu’en s’appuyant seulement sur les mots qui le précèdent. C’est le modèle qui obtient ces meilleurs résultats, dans plusieurs tâches consacrées à la compréhension du langage. L’année suivante, en 2019, Google utilise BERT pour mieux comprendre les recherches de ses utilisateurs. Ainsi, l’histoire de BERT relie un exercice d’apprentissage centré sur des phrases à un usage concret des capacités du modèle : aider Google à mieux comprendre les recherches de ses utilisateurs.