LowRAM réduit la mémoire du cache d’attention

MMarc

LowRAM est une méthode de recherche visant à réduire la mémoire occupée par le cache KV lors du décodage autorégressif, selon arXiv. La méthode exploite le fait que, dans chaque tête d’attention, les valeurs peuvent être prédites à partir des clés correspondantes. À l’inférence, LowRAM ajuste un prédicteur léger pour chaque tête. Il ne conserve ensuite que les résidus des jetons que ce prédicteur reconstruit le moins bien. Les auteurs annoncent une compression des valeurs par un facteur de 4, avec une perte qui serait presque nulle. La méthode prévoit aussi plusieurs façons de préparer ce prédicteur. Une initialisation par méta-apprentissage pourrait réduire le surcoût du préremplissage, c’est-à-dire le traitement initial du contexte avant la génération. Si le coût initial peut être amorti, le prédicteur peut aussi être entraîné à partir de zéro, par exemple en inférence multi-requête. Cette étape de préparation compte donc dans l’usage de la méthode : l’économie de mémoire annoncée porte sur les valeurs du cache, tandis que le choix de l’initialisation vise à limiter le coût du préremplissage ou à l’amortir sur plusieurs requêtes. LowRAM propose ainsi de stocker moins de valeurs en s’appuyant sur leur prédictibilité à partir des clés, et de réserver le stockage supplémentaire aux cas où la reconstruction est moins bonne. Les auteurs présentent ce dispositif comme une piste de compression presque sans perte, sans que cela signifie que le prédicteur soit préparé sans coût.