Atomic Chat fait tourner un grand modèle sur un Mac

OOndine

Atomic Chat a publié des versions quantifiées de Qwen3.8-Flash-Next, un modèle de mélange d’experts de 177 milliards de paramètres présenté comme un aperçu de l’architecture de Qwen4, selon AlphaSignal. Le dépôt du projet indique qu’une version quantifiée de 85 gigaoctets génère 36 tokens par seconde sur un MacBook M5 Max équipé de 64 gigaoctets de mémoire unifiée, avec les composants de vision activés. La version testée est donc plus volumineuse que la mémoire unifiée de cette machine, mais ses paramètres ne sont pas tous chargés en mémoire de la même façon. Le modèle comprend une table d’embeddings n-grammes de 51 milliards de paramètres, conservée sur un disque SSD et consultée à la demande pour limiter la pression sur la mémoire. Pour cette configuration, le dépôt recommande une compilation de llama.cpp intégrant la modification numéro 27742 et la quantification AD-4.27bpw-Q4_K_M-M64. Le chiffre de 36 tokens par seconde se rapporte précisément à cette version de 85 gigaoctets, à ce MacBook et aux composants de vision activés. L’essai illustre une manière de faire fonctionner localement un modèle particulièrement volumineux en s’appuyant sur le stockage SSD, tout en laissant une partie de ses données hors de la mémoire unifiée jusqu’au moment où elle est nécessaire.