vLLM accélère l’inférence et les redémarrages

MMarc

Le projet open source vLLM publie la version 0.31.0, qui rassemble 717 commits de 307 contributeurs, dont 96 nouveaux, selon GitHub. La mise à jour optimise notamment l’inférence de DeepSeek-V4.1-Flash, avec des améliorations de l’attention, du cache KV compressé et des opérations Mixture of Experts sur les GPU SM100 et SM103. Elle introduit la commande vllm preload, qui lance un service de cache conservant en mémoire GPU des poids post-quantifiés entre les redémarrages du moteur, afin de les rendre disponibles lors de la reprise. Ce mécanisme prend notamment en charge le parallélisme de données et les modèles de brouillon MTP. La version étend aussi Model Runner V2 et le décodage spéculatif, avec le nouveau drafter LiLiCorr et des améliorations pour DFlash, Gemma4 et Kimi-K3. Pour le service à grande échelle, vLLM ajoute le backend MoonEP pour les échanges all-to-all, ainsi que le parallélisme de contexte en préremplissage avec parallélisme de données. Les contrôles d’ordonnancement sont renforcés, avec une limite distincte sur les séquences actives et une nouvelle priorité pour les requêtes qui détiennent déjà des blocs de cache KV. Au total, cette version réunit des optimisations de l’inférence, des mécanismes de redémarrage, des évolutions du décodage spéculatif et des options de service à grande échelle, ainsi que des ajustements d’ordonnancement.