vLLM élargit sa prise en charge des modèles

OOndine

vLLM publie la version 0,33, une mise à jour de son outil open source de service de modèles, selon GitHub. Elle ajoute la prise en charge de nouveaux modèles, dont Reflection Beam-1.0, Yandex AliceAI-Foundation-80B-A3B, Recursive Flint et Muse Spark Open. La sortie rassemble 927 commits réalisés par 389 contributeurs, dont 122 nouveaux. vLLM adopte aussi PyTorch 2.14, avec torchvision 0.29 et Triton 3.8. Pour les équipes qui déploient des modèles, cela élargit les options prises en charge et actualise plusieurs composants logiciels. La mise à jour apporte également une image AWS EFA destinée aux instances EC2 compatibles. Elle prend en charge le transfert du cache de clés et de valeurs et le service multi-nœuds. Elle peut donc intéresser les équipes qui déploient leurs modèles sur plusieurs machines équipées d’EFA. Autre changement à vérifier avant une mise à jour : les roues et les images ne sont désormais publiées que pour CUDA 13.0. Les artefacts CUDA 12.9 ne sont plus disponibles. Les équipes qui utilisent CUDA 12.9 devront vérifier leur environnement et les options de migration. Enfin, vLLM annonce des optimisations du décodage spéculatif et des performances sur les processeurs graphiques NVIDIA et AMD. Les gains annoncés varient selon les modèles et les configurations. Les résultats dépendront donc du matériel et du modèle utilisés. Cette version combine de nouveaux modèles, des évolutions logicielles et des options de déploiement, avec une compatibilité CUDA à vérifier avant la migration.