Apprendre sans oublier : le sommeil des modèles de Google Research

SSacha

Alors, le point de départ est un problème très concret. Un modèle de langage peut utiliser une information qu’on lui donne dans une conversation, mais cette information reste souvent liée au contexte de cette conversation. Quand le contexte disparaît, le modèle ne la garde pas forcément comme une connaissance durable. Google Research décrit un cycle où le modèle traite des entrées pendant une phase active, puis passe à une phase de consolidation hors ligne. L’image du sommeil sert à rendre cette étape plus intuitive, mais il s’agit bien d’un mécanisme informatique, pas d’un modèle qui dormirait au sens humain. Le cadre vise à transférer des informations temporaires vers une mémoire de long terme.

SSacha

Pendant la phase active, le modèle traite les demandes et conserve certaines informations dans une mémoire temporaire. On peut imaginer un bureau couvert de notes : elles sont utiles pour le travail en cours, mais elles ne sont pas encore rangées dans les archives. La consolidation hors ligne correspond au moment où le modèle reprend ces traces et tente de les intégrer à ses paramètres durables. Dans le cadre décrit par Google, cette phase se déroule sans traiter de nouvelles entrées, ce qui permet au système de travailler sur ce qu’il a déjà collecté. La séparation n’est donc pas entre deux modèles différents, mais entre deux états successifs d’un même système : l’un orienté vers l’interaction, l’autre vers la mise à jour de la mémoire.

SSacha

Il s’appuie sur une architecture appelée Mixture-of-Experts, que l’on peut traduire par mélange d’experts. Pensez à une grande équipe où chaque spécialiste ne prend en charge qu’une partie du travail : le modèle active certains blocs de paramètres plutôt que de mobiliser tout le réseau de la même manière. Dans cette proposition, des blocs mémoire ont été préalloués, c’est-à-dire réservés à l’avance, puis déverrouillés pendant la consolidation. Ils offrent de nouveaux espaces pour intégrer les connaissances sans devoir modifier l’architecture générale ni le code de base. L’intérêt revendiqué est de disposer d’une capacité supplémentaire dédiée aux nouvelles informations, au lieu de retoucher indistinctement toutes les parties déjà en place. Les blocs sont de faible rang, une manière de limiter la taille de ces ajouts de paramètres.

SSacha

Ces blocs ne sont donc pas des tiroirs remplis de phrases recopiées. Ce sont des paramètres numériques que le modèle apprend à ajuster. Pour leur apprendre, le système utilise notamment des exemples d’entraînement qu’il génère lui-même, à partir de ce qu’il sait déjà produire. Une méthode appelée distillation sert ensuite à transférer vers les nouveaux blocs des informations ou des comportements que le modèle doit conserver. On peut comparer cela à un élève qui s’entraîne en résolvant ses propres exercices, tout en se servant d’un modèle de référence pour guider ses réponses. L’analogie s’arrête là : concrètement, ce sont des sorties et des poids numériques qui sont utilisés pour entraîner le système.

SSacha

L’idée concerne des modèles qui doivent continuer à s’adapter après leur déploiement, au lieu de rester figés sur les connaissances intégrées pendant leur entraînement initial. En théorie, un système pourrait ainsi mieux retenir des faits rencontrés dans ses interactions ou consolider des informations issues d’un très long contexte. Google affirme que son cadre peut conserver des connaissances provenant de contextes allant jusqu’à 10 millions de tokens. Cette échelle est particulièrement parlante pour comprendre l’ambition du dispositif : ne pas seulement traiter un long document sur le moment, mais tenter d’en préserver des éléments dans la mémoire du modèle.

SSacha

Il faut toutefois distinguer la taille du contexte évalué et l’usage réel au quotidien. Un contexte de 10 millions de tokens ne signifie pas que chaque application pourra automatiquement charger autant de texte, ni que chaque détail sera conservé parfaitement. Les chercheurs ont évalué le cadre sur des tâches à contexte long qui vont jusqu’à cette échelle. Pour un utilisateur, la promesse serait plutôt qu’une information utile ne s’évapore pas nécessairement à la fin d’une session. Google présente cette capacité comme un moyen de conserver des connaissances issues de contextes très longs.

SSacha

Les résultats rapportés comprennent des scores sur des compétitions de mathématiques. Le cadre atteint 79,2 % à AIME 2024, 69,0 % à AIME 2025 et 46,1 % à HMMT 2025, d’après AlphaSignal. Ces chiffres montrent que l’évaluation inclut des tâches de raisonnement mathématique. Ils donnent un repère sur les performances rapportées pour ces épreuves. Ils ne permettent pas, à eux seuls, de conclure qu’un assistant répondra mieux à toutes les questions, dans toutes les situations. Google Research présente également le cadre comme une manière d’améliorer le raisonnement complexe.

SSacha

Google Research présente le cadre comme un moyen d’améliorer le raisonnement complexe et d’apprendre continuellement de nouveaux faits. Les scores de mathématiques donnent un repère concret sur les résultats rapportés dans ces épreuves. La méthode est détaillée dans un article de recherche signé Behrouz, Hashemi, Javanmard et Mirrokni. Les résultats disponibles portent sur les tâches et les évaluations décrites par les auteurs. Ils ne suffisent pas à établir que les mêmes performances se retrouveraient dans tous les usages.

SSacha

La première limite est déjà dans la formulation : le système cherche à limiter l’oubli catastrophique, pas à prouver qu’il le rend impossible. Google décrit des blocs mémoire préalloués et une distillation sur des sorties du modèle pour intégrer de nouvelles connaissances tout en limitant cet oubli. Ces mécanismes sont présentés comme des moyens de réduire la perte de connaissances antérieures lors des mises à jour. Google affirme que le cadre permet d’acquérir continuellement de nouveaux faits et de conserver des connaissances issues de contextes très longs. Ces affirmations décrivent les objectifs et les résultats avancés pour la méthode.

SSacha

La méthode est détaillée dans un article arXiv signé Behrouz, Hashemi, Javanmard et Mirrokni, comme le précise AlphaSignal. Google Research affirme que le cadre peut améliorer le raisonnement et conserver des connaissances issues de contextes allant jusqu’à 10 millions de tokens. Le cadre alterne une phase d’interaction active et une phase de consolidation hors ligne, au cours de laquelle des blocs mémoire préalloués sont mis à jour. Les performances chiffrées portent sur les évaluations rapportées pour cette approche.

SSacha

Le cadre décrit une alternance entre interaction active et consolidation hors ligne pour transférer des informations du contexte temporaire vers des paramètres de long terme. Pendant cette phase, le modèle déverrouille des blocs mémoire Mixture-of-Experts préalloués et met à jour leurs poids à partir d’exemples d’entraînement qu’il génère lui-même. Google précise que cette mise à jour ne modifie ni l’architecture ni le code de base. Google affirme que cette approche peut intégrer de nouveaux faits, améliorer le raisonnement complexe et limiter l’oubli catastrophique. C’est une proposition de méthode pour l’apprentissage continu des modèles de langage.

SSacha

À retenir, d’abord, le changement de rythme : le modèle alterne entre une phase où il traite des entrées et une phase où il consolide sa mémoire hors ligne. Ensuite, cette consolidation passe par des blocs de paramètres préalloués, dans une architecture Mixture-of-Experts, et par des exemples d’entraînement que le modèle génère lui-même. Le but est de transférer des informations temporaires vers une mémoire plus durable tout en réduisant les risques d’oubli des connaissances antérieures. Google met en avant des résultats sur le raisonnement et des évaluations à très long contexte, jusqu’à 10 millions de tokens. Les scores rapportés comprennent 79,2 % à AIME 2024, 69,0 % à AIME 2025 et 46,1 % à HMMT 2025.