Unsloth prend en charge de nouveaux modèles en local

MMarc

Unsloth est une application qui permet d’exécuter certains modèles d’intelligence artificielle en local, et sa nouvelle version bêta ajoute Nemotron 3.5 de NVIDIA et Muse Spark Open de Meta, selon GitHub. La mise à jour améliore aussi le cache des prompts pour les agents de programmation utilisant des modèles GGUF locaux. Ces agents peuvent ainsi retraiter moins de contenu à chaque prompt, ce qui concerne notamment les personnes qui font tourner leurs outils de programmation sur des modèles locaux. Cette version ajoute également l’entraînement et la conversation avec des modèles de diffusion textuelle, ainsi que la prise en charge de DeepSpeed. Les développeurs qui expérimentent ces modèles peuvent donc les entraîner et échanger avec eux dans Unsloth, en plus d’utiliser les nouveaux modèles pris en charge. Les capacités et les besoins matériels varient fortement. Nemotron 3.5 Super VL compte 120 milliards de paramètres, dont 12 milliards actifs, et peut traiter jusqu’à un million de tokens de contexte. D’après Unsloth, ce modèle demande environ 64 gigaoctets de mémoire en quantification à 1 bit, ou 128 gigaoctets à 4 bits. Muse Spark Open est beaucoup plus volumineux, avec 816 milliards de paramètres, dont environ 42,7 milliards actifs, et un million de tokens de contexte. Unsloth annonce environ 256 gigaoctets de mémoire en quantification à 2 bits. La prise en charge locale dépend donc du matériel disponible : ces modèles ne peuvent pas tourner sur n’importe quel ordinateur.