Strata exécute un modèle de 125 milliards de paramètres sur un PC grand public

LLéna

Strata est un moteur d’inférence open source conçu pour faire tourner le modèle Qwen3.8-Flash-Next, qui compte 125 milliards de paramètres, sur un ordinateur grand public avec un seul processeur graphique NVIDIA et 64 gigaoctets de mémoire vive, selon AlphaSignal. Pour exécuter ce modèle à mélange d’experts, Strata répartit les calculs entre le processeur graphique, le processeur central, la mémoire vive et le disque SSD. Le processeur graphique conserve les experts fréquemment utilisés, tandis que le processeur central calcule en parallèle ceux qui ne sont pas en cache. D’après les benchmarks publiés par le projet, l’outil atteint jusqu’à 94,6 tokens par seconde sur une RTX 5070 avec un contexte de 4 000 tokens, et 65,1 tokens par seconde avec un contexte de 128 000 tokens et la quantification la plus légère. Les résultats indépendants restent toutefois limités, et le projet précise que certains chiffres pour les RTX 3090 et les cartes de la série 40 sont des estimations. Strata propose aussi des interfaces de programmation accessibles en local et compatibles avec OpenAI et Anthropic ; son décodage spéculatif produit, selon le projet, entre 2,4 et 3,2 tokens acceptés par passe, après vérification des propositions du modèle. L’outil traite une seule requête à la fois, ne réutilise pas le cache de mémoire entre les tours de conversation et peut préremplir lentement les contextes de 128 000 tokens ou plus. Les performances publiées donnent donc une indication sur l’exécution locale du modèle, mais les validations indépendantes restent peu nombreuses et plusieurs limites d’usage sont rapportées.