Underdog Saluki 27B, une quantification très compacte

OOndine

Underdog Saluki 27B est une version quantifiée de Qwen3.8-27B, examinée dans un guide technique publié par MarkTechPost. Le fichier de Saluki fait 7,9 gigaoctets, tandis que le modèle complet représente 54 gigaoctets ; cette quantification ramène la représentation à environ 2 bits par poids. Le guide compare aussi Saluki à GSQ-RCO, une quantification d’ISTA, dans llama.cpp, un environnement utilisé pour exécuter ces modèles. Il examine les fichiers au format GGUF, l’usage de la mémoire et la vitesse, afin de décrire plusieurs aspects pratiques de leur fonctionnement et de leur comparaison. Les auteurs de Saluki affirment que le modèle conserverait ses capacités d’appel d’outils malgré cette quantification et dépasserait le modèle complet sur leur propre benchmark. Pour examiner ces performances, le guide prévoit d’évaluer les deux modèles sur les mêmes 120 tâches du Berkeley Function Calling Leaderboard, ou BFCL, avec le vérificateur du classement et des modes d’analyse strict et permissif. Le cadre annoncé met donc les deux modèles face à un ensemble commun de tâches, mais le guide ne confirme pas indépendamment la supériorité revendiquée par les créateurs. Le résultat favorable à Saluki repose sur leur benchmark ; il doit être distingué de l’évaluation prévue avec le BFCL, qui porte elle aussi sur 120 tâches d’appel d’outils. La taille du fichier de Saluki est donnée à 7,9 gigaoctets, mais les performances revendiquées ne sont pas établies de façon indépendante dans le résumé de l’article.