WakeKV adapte la mémoire des modèles de langage

OOndine

WakeKV propose une gestion réversible du cache de mémoire utilisé par les modèles de langage pendant la génération, selon arXiv. La méthode déplace vers un réservoir en mémoire centrale, sur processeur, les têtes d’attention dont l’activité diminue. Elle évite ainsi de figer une fois pour toutes la classification de ces têtes ou de supprimer définitivement leur état : celui-ci reste récupérable si leur comportement change au cours de la génération. L’enjeu est que les têtes ne conservent pas nécessairement le même comportement de lecture pendant tout le traitement. Sur 3 modèles comptant entre 1,5 et 8 milliards de paramètres, et dans plusieurs régimes de génération, les auteurs indiquent que la plupart des têtes ont changé au moins une fois leur comportement de lecture. Ce résultat concerne les modèles et les conditions évalués ; il ne signifie pas que toutes les têtes changent systématiquement dans chaque génération. À mémoire ou budget comparable, les évaluations rapportées montrent un meilleur taux de défauts avec WakeKV qu’avec une classification figée ou une éviction qui supprime l’état. La méthode obtient donc un avantage dans ces comparaisons, mais il s’agit d’un résultat technique circonscrit : les détails de l’évaluation restent à examiner avant d’en déduire une portée plus large.