Alibaba publie une version quantifiée de Qwen2.5-VL-3B

LLéna

Alibaba publie lundi une version AWQ en 4 bits de son modèle multimodal Qwen2.5-VL-3B-Instruct, qui réduit fortement les besoins de stockage et de mémoire par rapport à la version BF16, selon AlphaSignal. Cette version utilise la méthode AWQ et conserve plusieurs fonctions multimodales : elle peut notamment lire des documents, repérer des éléments dans des images et réaliser des tâches d’agent sur ordinateur ou téléphone. Ces capacités couvrent donc l’analyse de contenus visuels et certaines interactions avec des interfaces. Pour ces tâches d’agent, une application hôte reste nécessaire afin de valider et d’exécuter les actions. La réduction des ressources a toutefois un coût mesurable sur les tests : le modèle obtient 91,8 au benchmark DocVQA, contre 93,0 pour la version BF16, et 49,1 au MMMU, contre 51,7. Les scores sont donc inférieurs à ceux de la version BF16 sur ces 2 benchmarks, sans faire disparaître les fonctions multimodales du modèle. Le checkpoint peut aussi être utilisé avec les outils vLLM ou SGLang, au moyen de points de terminaison compatibles avec l’interface de programmation d’OpenAI. L’estimation minimale de 1,5 gigaoctet concerne uniquement les poids quantifiés. La mémoire totale nécessaire à l’exécution est supérieure et varie selon les composants, les entrées et les paramètres d’usage.