vLLM optimise le décodage de Kimi K3 sur les GPU NVIDIA Blackwell

MMarc

vLLM a ajouté un backend de décodage spécialisé pour Kimi K3, le modèle de Moonshot, sur les systèmes NVIDIA GB300, en collaboration avec NVIDIA et avec des kernels CuTe DSL, selon AlphaSignal. Cette optimisation vise le décodage du modèle sur ces GPU, et les résultats annoncés portent sur des configurations précises, pas sur toutes les utilisations de Kimi K3. Avec le décodage spéculatif DSpark, vLLM mesure 842 tokens par seconde à batch 1 sur 16 GPU GB300, soit un débit 1,73 fois supérieur à celui de la configuration de comparaison. Sans ce décodage spéculatif, les essais en configurations TP8 et TP16 montrent un débit multiplié par 1,5 à 2. Sur le benchmark AgentX de SemiAnalysis, l’interactivité P90 atteint 403 tokens par seconde et par utilisateur, contre 224 auparavant, soit une hausse de 1,8 fois. Le chemin spécialisé réduit aussi, pour une couche du modèle, le temps d’exécution de 130 à 69 microsecondes et le nombre de kernels lancés de 23 à 13. Cette réduction du temps et du nombre de kernels accompagne les gains de débit mesurés dans les autres tests. Ces mesures illustrent l’effet de l’optimisation sur la vitesse de génération et la réactivité dans les tests cités ; elles ne garantissent pas les mêmes gains dans d’autres configurations. Elles donnent donc des repères sur des essais précis, avec et sans décodage spéculatif, plutôt qu’une performance générale valable pour toute charge de travail.