SGLang 0.5.21

MMarc

SGLang publie la version 0.5.21, une mise à jour qui élargit la prise en charge de modèles de langage, de vision-langage et de génération d’images. Elle ajoute notamment DeepSeek-V4.1 Flash, GigaChat 3.5, MiMo-V2.6 et Qwen-Image 2.1. GitHub indique que cette version réunit 779 demandes de modification de 227 contributeurs. Elle peut intéresser les équipes qui veulent faire fonctionner ces modèles avec SGLang.

MMarc

Les instances de préremplissage et de décodage peuvent désormais changer de rôle sans redémarrage. Cela pourrait faciliter l’adaptation du service par les équipes qui le maintiennent. Le cache de préfixes, qui réutilise des préfixes de requêtes, repose par défaut sur un cœur écrit en Rust.

MMarc

La mise à jour ajoute une interface pour classifier et noter des entrées à l’aide de modèles de langage ou de vision-langage. Une autre permet d’évaluer plusieurs candidats dans une seule requête. Ces fonctions pourraient servir aux développeurs qui construisent des outils de classement ou de comparaison.

MMarc

SGLang annonce un délai jusqu’au premier jeton réduit de 22 % pour DeepSeek-V4.1 sur de longs prompts. Pour Kimi K3, le débit de préremplissage progresse de 20,6 % dans un service qui sépare préremplissage et décodage. Ces résultats concernent ces modèles et ces conditions précises.