AutoTrust accélère Qwen3.8 sur DGX Spark

OOndine

AutoTrust AI Lab publie une recette de décodage spéculatif pour Qwen3.8-27B-NVFP4, qui porte le débit mesuré sur DGX Spark à 48,2 tokens par seconde, contre 12,5 sans cette méthode, selon AlphaSignal. Le débit est ainsi multiplié par environ 3,9 sur cette machine. L’accélération ne repose pas sur une modification du modèle : les poids de Qwen3.8 restent identiques à ceux de la version NVFP4 publiée par NVIDIA. Le gain provient d’un drafter optimisé et de son intégration à vLLM ; la solution est proposée sous forme de plugin pour la version 0.31.0 et de correctif intégré. Sur DGX Spark, elle dépasse aussi d’environ 30 % la configuration de décodage spéculatif MTP native de Qwen, qui atteint autour de 37 tokens par seconde. Les mesures portent sur 24 prompts, avec une requête à la fois et une température réglée à zéro : le résultat décrit donc ce protocole précis. La recette permet une spéculation jusqu’à k égal à 8, avec une longueur moyenne d’acceptation de 5,29 tokens à température zéro ; ce chiffre concerne les tokens acceptés, pas le débit de génération. Sur B200, le gain annoncé par rapport au MTP natif n’est que d’environ 4 %. La différence suggère que cette optimisation pourrait surtout bénéficier aux matériels limités par leur bande passante mémoire, comme le DGX Spark.