NVIDIA lance Nemotron 3.5 Lightning

OOndine

NVIDIA lance Nemotron 3.5 Lightning, un modèle à poids ouverts de 30 milliards de paramètres, selon AlphaSignal. Son architecture combine Mamba-2, l’attention Transformer et des experts spécialisés. Environ 3 milliards de paramètres sont activés pour chaque token traité, sur les 30 milliards que compte le modèle. NVIDIA annonce une fenêtre de contexte pouvant atteindre un million de tokens sur une machine GB200 ou avec 8 processeurs graphiques H100. Sur un seul H100, cette limite est de 256 000 tokens. Le modèle a été préentraîné sur plus de 20 000 milliards de tokens, puis affiné par apprentissage par renforcement selon la méthode GRPO. NVIDIA publie aussi les collections de données d’entraînement et propose le modèle sous licence OpenMDW 1.1, qui autorise un usage commercial. AlphaSignal indique des scores de 81,94 à MMLU Pro et de 51,56 à SWE-bench Verified, et situe le modèle derrière Qwen 3.6 35B A3B sur la plupart des évaluations ; ces résultats comparatifs ne sont pas confirmés indépendamment. Nemotron 3.5 Lightning associe donc une licence autorisant l’usage commercial à une fenêtre de contexte annoncée pouvant atteindre un million de tokens, selon le matériel utilisé. Ses performances comparatives restent, elles, à vérifier par des évaluations indépendantes.