Brève

vLLM met à jour son moteur d’inférence

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Léna

vLLM publie la version 0.34.0 de son moteur open source d’inférence pour les modèles d’intelligence artificielle, avec la prise en charge de 10 nouveaux modèles, selon GitHub. Parmi eux figurent Mistral Large 4, MiniMax-M3.1-Flash et NVIDIA Nemotron-3.5-Transcribe. Cette mise à jour rassemble 1 061 commits de 412 contributeurs, dont 120 qui participent pour la première fois. Son changement central concerne le cache KV, désormais activé par défaut : après le préchauffage, vLLM le dimensionne selon la mémoire réellement disponible. Cette capacité accrue peut permettre de stocker davantage de données dans le cache et d’améliorer le débit, selon la configuration. Le logiciel retire aussi Model Runner V1 et fait de Model Runner V2 son unique moteur GPU. Les notes de version annoncent des accélérations sur certaines configurations : jusqu’à 1,95 fois plus de vitesse en décodage pour Step5 sur GB200, et 1,6 fois plus de débit pour GLM-5.3-Flash. Pour les longs prompts avec GLM-5.3, elles annoncent aussi un gain de 1,24 à 1,40 fois sur le délai avant le premier jeton, sans garantir le même résultat sur toutes les installations. Enfin, plusieurs réglages par défaut changent : la taille de bloc passe de 16 à 64, l’utilisation mémoire du processeur graphique est fixée à 1,0, et la dépendance à huggingface_hub doit être en version 2.0.0 ou ultérieure.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.