vLLM accélère l’inférence et les redémarrages

MMarc

vLLM publie lundi la version 0.31.0 de son logiciel open source, une mise à jour pour l’inférence des modèles d’intelligence artificielle, selon GitHub. Elle réunit 717 commits de 307 contributeurs. Pour DeepSeek-V4.1-Flash, la version optimise plusieurs étapes de l’inférence, notamment l’attention, le cache KV compressé et des opérations Mixture of Experts sur les processeurs graphiques SM100 et SM103. Ces optimisations concernent donc ce modèle et ces processeurs, pas toutes les configurations. La mise à jour ajoute la commande de préchargement vLLM preload. Elle lance un service qui garde en mémoire des processeurs graphiques des poids post-quantifiés, y compris lors des redémarrages du moteur. La fonction prend notamment en charge le parallélisme de données et les modèles de brouillon MTP. Elle s’adresse ainsi aux équipes qui redémarrent des moteurs vLLM et veulent conserver ces poids en mémoire d’un redémarrage à l’autre. Le décodage spéculatif et Model Runner V2 reçoivent aussi des extensions, dont un nouveau modèle de brouillon, LiLiCorr, et des améliorations pour DFlash, Gemma4 et Kimi-K3. Pour le service à grande échelle, la version ajoute MoonEP, un backend pour les échanges all-to-all, ainsi que le parallélisme de contexte en préremplissage avec parallélisme de données. Les équipes qui exploitent vLLM pour servir des modèles peuvent aussi régler séparément le nombre de séquences actives et prioriser les requêtes qui détiennent déjà des blocs de cache KV. Plusieurs optimisations sont toutefois liées à des modèles ou à du matériel précis.