Kinference, le contrôle du routage vers vLLM

MMarc

Buoyant, l’entreprise à l’origine de Linkerd, a publié Kinference, un plan de contrôle open source qui achemine des requêtes vers des instances vLLM sur Kubernetes, selon MarkTechPost. Le projet est proposé sous licence Apache 2.0 et sa version annoncée est v0.1.0-alpha.7, ce qui situe cette publication dans une phase préliminaire du projet. Kinference permet de définir des règles de routage déclaratives pour orienter les requêtes vers ces instances. Il répartit aussi la charge en tenant compte du cache KV, et propose des limites de débit par jeton ainsi que des métriques par locataire, afin de suivre l’activité de différents utilisateurs ou groupes. La configuration de Kinference repose sur 5 ressources Kubernetes personnalisées, qui structurent les réglages du contrôle et du routage dans cet environnement. Dans un benchmark publié par Buoyant, sur une charge avec des préfixes partagés, le temps médian jusqu’au premier jeton est passé de 6,88 à 0,31 seconde, soit une baisse de 95 %. En revanche, lorsque les prompts ne partageaient pas de préfixes, le benchmark ne montrait aucun gain médian, ce qui limite le résultat mesuré au scénario testé avec des préfixes communs.