BLOOM, le modèle ouvert entraîné en France

CCapucine

En juillet 2022, le projet collaboratif BigScience publie BLOOM, un modèle de langage de 176 milliards de paramètres. Ce nombre donne l’échelle du modèle : 176 milliards de paramètres réunis dans un même système. Le projet rassemble plus d’un millier de chercheurs venus de nombreux pays, sous l’impulsion de la start-up Hugging Face. La construction de BLOOM s’inscrit donc dans une collaboration internationale, portée par des chercheurs de nombreux pays. Son entraînement, lui, se déroule en France, sur le supercalculateur public Jean Zay. Un projet international prend ainsi appui sur une infrastructure publique française pour entraîner le modèle. Le modèle comprend des dizaines de langues, parmi lesquelles le français. L’ouverture des poids et cette diversité linguistique sont deux caractéristiques distinctes du modèle publié par BigScience. BLOOM associe ainsi une grande échelle, une collaboration internationale, un entraînement en France et une publication en accès ouvert.