ByteShape compresse Qwen3.8-27B à 8,8 Go

OOndine

ByteShape a publié 5 versions quantifiées de son modèle vision-langage Qwen3.8-27B, dont la plus compacte occupe 8,8 gigaoctets, selon AlphaSignal. Ces fichiers au format GGUF utilisent ShapeLearn et couvrent de 2,56 à 3,84 bits par poids ; les tailles vont de 8,8 à 13,1 gigaoctets, ce qui permet de choisir entre plusieurs niveaux de compression. Dans les tests de ByteShape sur une carte graphique RTX 5090, le plus petit modèle atteint 176 tokens par seconde avec le décodage spéculatif ; cette mesure provient de l’entreprise et n’a pas été vérifiée indépendamment. Elle ne permet donc pas, à elle seule, de comparer la vitesse sur d’autres machines ou dans d’autres conditions de test. Les 5 versions sont proposées sous licence Apache 2.0 et sont compatibles avec llama.cpp, Ollama, LM Studio, vLLM et SGLang, des outils permettant d’exécuter des modèles localement. ByteShape annonce aussi un gain de vitesse de 1,28 à 1,66 fois avec la tête MTP intégrée, et de 1,34 à 2,10 fois avec le système externe DFlash 2 ; ces chiffres sont également des résultats rapportés par l’entreprise, et DFlash 2 est limité au texte. Son utilisation nécessite llama.cpp b10658 ou une version ultérieure. Les vitesses annoncées dépendent ainsi du matériel, du mode de décodage et des conditions de test.