Boa Compressor compresse les longs contextes

OOndine

Boa Compressor est une méthode de compression de contexte en ligne présentée par ses auteurs sur arXiv. Fondée sur Mamba, un modèle d’espace d’états, elle encode en un seul passage un contexte de longueur arbitraire, avec un temps de traitement qui augmente de façon linéaire avec la longueur du contexte. La représentation compressée sert ensuite à conditionner un grand modèle de langage cible, dont les paramètres restent gelés : la méthode ajoute donc une étape de compression sans entraîner à nouveau ce modèle cible. Les auteurs expliquent que les contextes longs peuvent mobiliser davantage de calcul et de mémoire, ce qui rend leur traitement coûteux ; leur méthode vise à répondre à cette difficulté en produisant une représentation compacte en ligne. Ils la distinguent des approches qui s’appuient sur le Transformer du modèle cible pour construire des invites souples, car cette étape peut ajouter de la latence et conduire à compresser le contexte hors ligne, puis à réutiliser le résultat pour plusieurs requêtes. Boa Compressor sépare cette étape du traitement par le modèle cible : Mamba réalise l’encodage en un passage, puis la représentation obtenue conditionne le modèle gelé.