Red Hat réduit le stockage des poids de Nemotron

LLéna

Red Hat AI a publié une version FP8 du modèle Nemotron 3.5 Lightning 30B A3B de NVIDIA, qui réduit d’environ 50 % le stockage des poids par rapport à leur version BF16, selon AlphaSignal. Cette réduction concerne le stockage des poids quantifiés ; elle ne signifie pas que la mémoire graphique totale nécessaire au fonctionnement du modèle baisse dans les mêmes proportions. La quantification statique, réalisée avec LLM Compressor, porte sur les poids et les activations de certaines couches linéaires, tandis que plusieurs composants sensibles à la précision restent en BF16. En service, la mémoire mobilisée comprend aussi ces paramètres non quantifiés, les activations, l’état Mamba, les caches de clés et de valeurs, ainsi que les allocations de l’environnement d’inférence. Le modèle peut être déployé avec vLLM, SGLang ou Docker sur un seul accélérateur H100 ou sur un DGX Spark. Cette possibilité peut simplifier son déploiement dans ces configurations, mais la baisse de stockage annoncée ne garantit pas à elle seule que le modèle tiendra dans une mémoire donnée : les besoins dépendent aussi des autres éléments utilisés pendant l’inférence. Le checkpoint affichait plus de 780 000 téléchargements sur Hugging Face au moment de la publication, un compteur qui ne permet pas de déduire le nombre d’utilisateurs uniques ou de déploiements en production.