KVLearn optimise la rétention des caches dans les services distribués

MMarc

KVLearn est un cadre d’apprentissage présenté dans un article sur arXiv pour optimiser la rétention des caches KV dans les services de grands modèles de langage où le préremplissage et le décodage sont répartis entre des groupes de nœuds distincts. Cette séparation des étapes modifie la gestion du cache : les décisions doivent tenir compte des échanges réseau entre les groupes, et pas seulement du traitement effectué sur chaque nœud. Par exemple, lorsqu’un bloc nécessaire n’est pas présent dans le cache, le système doit le recalculer localement, puis le transférer vers le nœud chargé du décodage. L’admission d’un bloc dans le cache global demande elle aussi un transfert réseau, ce qui ajoute un coût de communication aux décisions de conservation et d’admission. Pour estimer si un préfixe sera réutilisé, KVLearn comprend un prédicteur léger de réutilisation des préfixes, qui s’appuie sur des caractéristiques structurelles et temporelles. Ce prédicteur ne modifie pas les poids du modèle : il estime une probabilité de réutilisation, dans le cadre proposé pour mieux gérer la rétention des caches. KVLearn porte donc sur un problème concret des systèmes distribués : conserver les blocs utiles tout en prenant en compte les transferts liés aux défauts de cache et à l’admission de nouveaux blocs, sans changer le modèle lui-même.