Nemotron 3.5 Bolt, l’IA locale dans 24 gigaoctets

OOndine

NVIDIA présente Nemotron 3.5 Bolt 74B-A9B 24GB, un modèle qui associe vision et langage pour faire fonctionner localement des agents d’intelligence artificielle avec une mémoire limitée. Le document qui le décrit est une prépublication déposée sur arXiv. La question est de réduire l’espace mémoire nécessaire sans renoncer aux capacités de raisonnement et d’action. Le modèle totalise 74 milliards de paramètres, dont 9 milliards sont activés, et vise une mémoire de 24 gigaoctets. Il dérive de la famille Nemotron 3.5 Super VL 120B-A12B et combine les architectures Mamba et Transformer, deux méthodes pour organiser le traitement de l’information. Pour réduire son empreinte mémoire, le modèle associe la compression Star Elastic à une distillation avec quantification en 2 bits. On peut comparer cette opération au fait de compacter un bagage pour le faire tenir dans un sac plus petit. L’objectif est de diminuer la place occupée par le modèle. Cette conception vise des usages locaux, sur des machines disposant de peu de mémoire. Le modèle est optimisé pour le raisonnement, l’utilisation d’outils et les interactions avec le Web et le terminal. Il s’agit donc de travaux qui portent à la fois sur le traitement de demandes et sur l’usage de ces outils, sans que cela garantisse à lui seul la réussite de chaque tâche. NVIDIA publie également LiLiCorr, un modèle de prédiction spéculative destiné à atteindre la vitesse d’inférence visée. La publication affirme que Bolt obtient une précision supérieure à celle de modèles de référence ayant une empreinte mémoire et une vitesse comparables, sur plusieurs tests d’agents, de navigation sur le Web et d’utilisation du terminal. Elle mentionne notamment une vitesse de 84 jetons par seconde sur RTX Spark. Ce sont des résultats annoncés dans la publication ; ils ne suffisent pas à établir que le modèle sera plus performant dans tous les usages. Il faut donc retenir la portée précise de ces comparaisons : elles concernent les tests cités, et non l’ensemble des situations possibles.