AKV optimise le cache des agents d’intelligence artificielle

OOndine

Des chercheurs de l’Université Tsinghua et de la Chinese University of Hong Kong ont publié en open source AKV, un outil de gestion du cache destiné aux agents de grands modèles de langage utilisant SGLang, selon MarkTechPost. AKV réunit un système de service et une bibliothèque de politiques pour gérer le cache de ces agents. Plutôt que de résumer l’historique textuel, l’outil peut supprimer certaines entrées du cache et en repositionner d’autres. Cette gestion intervient directement dans le cache utilisé par les agents, sans modifier l’historique en le remplaçant par un résumé. Pour prendre en charge ces opérations, AKV ajoute des nœuds à l’arbre radix de SGLang. Le but est d’éviter de réutiliser des états de cache incorrects après la suppression ou le repositionnement d’entrées. Les auteurs ont évalué AKV sur 3 modèles et 4 benchmarks d’agents, en le comparant à une méthode de synthèse par seuil. Ils rapportent une baisse moyenne des coûts de 27,7 % et une hausse moyenne des scores de 1,7 point. Sur SWE-bench Verified avec GPT-OSS-120B, le coût par tâche passe de 20,0 à 9,7 cents, tandis que le score augmente de 40,0 à 43,2. Le code est publié sous licence Apache 2.0.