Nemotron 3.5 Bolt, un modèle conçu pour l’IA locale

MMarc

NVIDIA présente Nemotron 3.5 Bolt 74B-A9B 24GB, un modèle vision-langage hybride conçu pour faire fonctionner localement des agents d’intelligence artificielle avec une mémoire limitée, selon arXiv. Pour réduire cette empreinte, NVIDIA combine la compression Star Elastic et une distillation avec quantification en 2 bits, une méthode qui vise à conserver les capacités du modèle tout en représentant ses paramètres avec moins de mémoire. Nemotron 3.5 Bolt est optimisé pour le raisonnement, l’utilisation d’outils et les interactions avec le Web et le terminal ; NVIDIA le destine ainsi à des agents locaux capables de mobiliser ces fonctions. L’entreprise publie aussi LiLiCorr, un modèle de prédiction spéculative qui devrait permettre d’atteindre la vitesse d’inférence visée, c’est-à-dire la vitesse à laquelle le modèle produit ses réponses. NVIDIA affirme que Bolt dépasserait des modèles comparables en mémoire et en vitesse sur plusieurs tests de capacités agentiques générales et de navigation Web. Les résultats détaillés ne figurent toutefois pas dans les éléments présentés par arXiv ; les performances annoncées restent donc à évaluer à partir de résultats plus complets.