SGLang élargit la prise en charge des modèles

LLéna

SGLang publie lundi la version 0.5.23 de son moteur d’inférence, une mise à jour communautaire qui réunit 1 007 demandes de modification de 257 contributeurs, selon GitHub. Elle ajoute la prise en charge de plusieurs modèles, dont Muse Spark Open, Beam-1.0, MiniMax-M3.1-Flash et MiniCPM-V 4.7, ainsi que des modèles de génération d’images comme FLUX.3 Image Klein et MOSS-Image. La mise à jour apporte aussi des optimisations pour DeepSeek-V4.1 sur les processeurs graphiques NVIDIA : sur GB300, le débit de préremplissage peut augmenter jusqu’à 1,5 fois sous charge, tandis que la latence avant le premier jeton baisse d’environ 28 % avec des prompts de 32 000 à 64 000 jetons. Pour DeepSeek-V4.1-Flash, un mode basse latence annonce un décodage jusqu’à 44 % plus rapide sur GB300 et 75 % plus rapide sur MI350X d’AMD, en utilisation individuelle. Sur les H200, la première réponse de plusieurs modèles à experts mixtes peut arriver de 30 à 58 % plus tôt avec des prompts de 8 000 jetons. Une fonction expérimentale, Paged Experts, permet en outre de servir des modèles trop volumineux pour la mémoire d’un processeur graphique grand public, avec une vitesse annoncée jusqu’à 30 fois supérieure au déport vers le processeur central. SGLang prend également en charge les TPU7x de Google et permet de servir des adaptateurs LoRA sur des modèles à experts mixtes quantifiés en FP8 et NVFP4, élargissant ainsi la compatibilité de la mise à jour avec différents matériels et modèles.