SGLang met à jour son moteur d’intelligence artificielle

LLéna

SGLang publie la version 0.5.21, qui intègre 779 pull requests issues de 227 contributeurs, selon GitHub. Cette mise à jour ajoute la prise en charge de DeepSeek-V4.1 Flash, GigaChat 3.5, MiMo-V2.6 et Qwen-Image 2.1. Elle couvre ainsi des modèles de langage, de vision et de génération d’images, avec de nouveaux usages possibles pour les équipes qui les déploient via SGLang. Les instances de préremplissage et de décodage peuvent désormais basculer de l’une à l’autre sans redémarrage. Le cache de préfixes utilise par défaut un cœur écrit en Rust. La version introduit aussi deux interfaces de programmation : Decisions, pour classifier et noter des entrées avec des modèles de langage ou de vision-langage, et Score, pour évaluer plusieurs candidats dans une seule requête. SGLang annonce un premier jeton 22 % plus rapide pour DeepSeek-V4.1 sur les longs prompts ; pour Kimi K3, le débit de préremplissage serait supérieur de 20,6 % dans le service associant préremplissage et décodage. Ces chiffres décrivent des gains annoncés pour ces modèles et ces tâches précises. La version rassemble donc de nouveaux modèles pris en charge, des changements de fonctionnement et des outils de classification et de notation, sans que les chiffres annoncés établissent un gain identique pour tous les modèles ou tous les usages.