Exécuter Dory 1.0 4B avec llama.cpp

LLéna

Dory 1.0 4B, le modèle de raisonnement de NVIDIA, peut être exécuté avec une branche spécifique de llama.cpp, selon un tutoriel publié par MarkTechPost. Le guide détaille la compilation de la branche indiquée par la fiche du modèle de NVIDIA, puis le téléchargement d’un fichier au format GGUF d’environ 3,7 gigaoctets. Il propose aussi d’examiner l’architecture du modèle, afin d’estimer les coûts en paramètres et en mémoire cache avant de lancer les essais. La particularité de Dory est qu’un bloc de couches intermédiaires peut être appliqué une, deux, trois ou quatre fois à chaque jeton traité. Augmenter le nombre de boucles accroît le calcul effectué, sans ajouter de paramètres au modèle et sans nécessiter de réentraînement. Pour comparer ces réglages, le guide propose de mesurer la vitesse de décodage selon le nombre de boucles et de tester l’effet d’un cache de dernière boucle moins coûteux. Il suggère également d’évaluer les résultats sur GSM8K, en observant la précision, la longueur des réponses et le temps nécessaire pour résoudre chaque question. L’ensemble permet donc d’examiner les compromis entre calcul, vitesse, mémoire cache et résultats, avec un modèle existant dont le nombre de boucles peut varier d’un à quatre.