Nemotron allégé
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Léna
Environ cinquante pour cent : c’est la réduction du stockage des poids de Nemotron 3.5 Lightning 30B A3B, annoncée par Red Hat AI, selon AlphaSignal. Le modèle peut être déployé sur un seul H100 ou un DGX Spark. Mais ce chiffre concerne les poids, pas toute la mémoire utilisée par le processeur graphique : plusieurs composants restent en BF16, et l’inférence mobilise aussi d’autres ressources. Cette distinction compte pour les équipes qui évaluent le matériel nécessaire : un modèle dont les poids prennent deux fois moins de place ne garantit pas une baisse équivalente de la mémoire totale en fonctionnement.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.