Humming accélère l’inférence des modèles quantifiés

OOndine

Ant Group et la communauté vLLM ont publié Humming, une bibliothèque open source de kernels JIT pour l’inférence de modèles de langage quantifiés, d’après AlphaSignal. Ces kernels sont compilés à la demande et la bibliothèque prend en charge plusieurs matériels et formats de quantification. Sur certains kernels, Humming annonce jusqu’à 5 fois plus de vitesse que Marlin, DeepGEMM et FlashInfer. Les auteurs ont également testé DeepSeek-V4.1-Flash sur une configuration de 8 GPU H20 : le débit y augmente de 14 à 43 %, tandis que le délai avant le premier jeton diminue de 25 à 32 %. Ces résultats sont liés à cette configuration et à ce modèle ; ils ne décrivent pas nécessairement les performances sur tous les matériels ou toutes les charges de travail. Un test distinct porte sur la compilation d’un kernel W4A16 avec un GPU H200 et CUDA 13.4 : Humming réalise l’opération en 1,82 seconde, contre 23,35 secondes pour CUTLASS avec NVCC. La bibliothèque prend en charge les GPU NVIDIA à partir de l’architecture Turing, ainsi que le processeur T-Head Zhenwu 810E. Elle est intégrée comme dépendance à vLLM 0.29.0, ce qui place ces kernels dans un outil d’inférence de modèles de langage sans transformer les gains mesurés en garantie générale de performance.