Unsloth exécute des modèles d’IA en local

OOndine

Unsloth permet d’exécuter localement des modèles d’intelligence artificielle. Sa version bêta ajoute la prise en charge de Nemotron 3.5, de NVIDIA, et de Muse Spark Open, de Meta, selon GitHub. Nemotron 3.5 Super VL peut analyser des documents et soutenir des agents qui travaillent sur la durée. Il compte 120 milliards de paramètres, dont 12 milliards actifs, et accepte jusqu’à 1 million de tokens de contexte. Unsloth indique qu’il nécessite environ 64 gigaoctets de mémoire en quantification à 1 bit, ou 128 gigaoctets à 4 bits. La mise à jour améliore aussi le cache des prompts pour les agents de programmation utilisant des modèles locaux au format GGUF. Ils retraitent ainsi moins de contenu à chaque prompt. Unsloth ajoute l’entraînement et la conversation avec des modèles de diffusion textuelle, ainsi que la prise en charge de DeepSpeed pour l’entraînement. Les réponses de ces modèles peuvent apparaître sur une toile de débruitage en direct. Ces nouveautés intéressent notamment les personnes qui exécutent des modèles localement, développent des agents de programmation ou entraînent des modèles de diffusion textuelle. Muse Spark Open, le modèle multimodal de Meta, accepte du texte, des images, de la vidéo et de l’audio. Il compte 816 milliards de paramètres, dont environ 42,7 milliards actifs, et dispose d’un million de tokens de contexte. Pour l’exécuter, Unsloth annonce environ 256 gigaoctets de mémoire en quantification à 2 bits. La mémoire nécessaire dépend donc du modèle et de la quantification choisie.