Sharp-Spark pour coder sur des GPU modestes

MMarc

Sharp-Spark-X2.5-4B-GGUF est une version quantifiée de Spark-X2.5-4B, conçue pour fonctionner sur des cartes graphiques dotées de 6 Go de mémoire vidéo, indique AlphaSignal. Son architecture hybride associe 9 couches à attention complète et 27 couches à fenêtre. Le dépôt annonce ainsi un contexte pouvant atteindre 131 000 tokens, c’est-à-dire une grande quantité de texte prise en compte par le modèle. Il indique aussi une licence Apache 2.0 et une compatibilité avec les versions récentes de llama.cpp qui prennent en charge Spark 2.5. Ces éléments décrivent les conditions annoncées pour utiliser le modèle, sans garantir les mêmes performances sur toutes les configurations. Sur MMLU-Pro, les résultats publiés par le dépôt donnent à la version Q6 un score comparable à celui de la version Q8 d’origine, avec 43 % de tokens en moins à la médiane. Cette baisse serait en partie liée à une consigne de concision intégrée par défaut ; elle ne peut donc pas être attribuée uniquement à la quantification. Le dépôt rapporte également une égalité avec Haiku 4.5 sur un échantillon de SWE-bench-Live, pour des modèles de 4 milliards de paramètres. Mais la taille de l’échantillon et les résultats bruts ne sont pas précisés, et des tests plus larges restent nécessaires pour évaluer les performances générales de Sharp-Spark en programmation.