Qwen publie des poids GGUF pour une exécution locale

LLéna

Qwen a publié les poids GGUF officiels de son modèle multimodal Qwen3-VL-8B-Instruct, pour le faire fonctionner localement avec des outils courants, selon AlphaSignal. Les fichiers sont proposés en trois niveaux de précision : FP16, Q8_0 et Q4_K_M ; cette dernière version pèse environ 5 gigaoctets, et l’encodeur visuel est fourni séparément. Le modèle est annoncé compatible avec llama.cpp, Ollama, LM Studio, Jan, vLLM, SGLang et Docker, et peut fonctionner sur processeur, avec CUDA, sur les appareils Apple Silicon ou avec un processeur graphique Intel. Qwen annonce une fenêtre de contexte pouvant atteindre 256 000 tokens, ainsi que la reconnaissance optique de caractères dans 32 langues, l’ancrage spatial en deux et trois dimensions et la localisation d’horodatages dans des vidéos. La licence indiquée est Apache 2.0 ; parmi les résultats rapportés figurent 96,1 à DocVQA, 69,6 à MMMU et 68,6 % à MMLU-Pro. AlphaSignal indique qu’une configuration Q4_K_M avec un projecteur quantifié pourrait tenir sur de nombreux systèmes à mémoire unifiée de 16 gigaoctets, avec un contexte modéré. La consommation augmente fortement avec la longueur du contexte, et la fenêtre maximale de 256 000 tokens y serait impraticable. AlphaSignal avertit aussi que la quantification peut modifier la précision de reconnaissance et de localisation ; les configurations devraient donc être évaluées sur des documents, des captures d’écran et des vidéos représentatifs.