vLLM rapproche ses performances de DeepInfer

OOndine

vLLM atteint sur DeepSeek-V4.1-Flash un débit de décodage à moins de 6 % de celui de DeepInfer, pour des tailles de batch de 8 à 256, selon AlphaSignal. Ses performances de préremplissage suivent également la courbe publiée pour DeepInfer. Sur un rack NVIDIA GB300 NVL72, le débit annoncé atteint 954 000 tokens par seconde et par processeur graphique, soit 7,9 fois le débit de référence sur un seul nœud. Le coût annoncé est de 38,96 dollars par processeur graphique et par heure. Pour un utilisateur, une voie de décodage spécialisée atteint 826 tokens par seconde avec 4 processeurs graphiques B300. Côté préremplissage, 3 modifications augmentent le débit de 35 à 44 % pour traiter de nouveaux tokens après 128 000 tokens déjà présents dans le cache. L’équilibrage EPLB fait passer l’équilibre du routage des experts de 0,35 à 0,94 et récupère 97 % du potentiel d’un routage uniforme. Enfin, le cache global de DeepSeek-V4.1-Flash utilise 890 octets par token : faire passer le contexte de 128 000 à 855 000 tokens ajoute 0,6 milliseconde, soit 7 %, à la latence de décodage. Ces résultats de benchmark décrivent les performances mesurées dans les conditions rapportées par AlphaSignal, et non une garantie identique pour tous les usages.