Prime Intellect lance Prime Inference

LLéna

Prime Intellect a lancé vendredi Prime Inference, une plateforme d’inférence qui traite près de 600 milliards de tokens par jour dans plusieurs centres de données, selon AlphaSignal. Le service propose deux modes d’accès : une capacité serverless, adaptée aux demandes variables, et des déploiements réservés pour les charges soutenues. Ces deux options permettent de choisir une capacité à la demande ou de réserver des ressources pour des usages réguliers, selon les besoins des clients. GLM-5.3 est le premier modèle rendu publiquement accessible sur la plateforme, par l’API de Prime Intellect et via OpenRouter. Sur des processeurs graphiques NVIDIA GB200 NVL72, Prime Intellect rapporte 66 sessions simultanées, avec un débit de 101 tokens par seconde et par utilisateur pour ce modèle. L’entreprise met aussi en avant une compression NVFP4 du cache KV, dont chaque ligne passe de 576 à 352 octets, pour une capacité annoncée en hausse de 50 %. Elle sépare également le préremplissage et le décodage avec NVIDIA Dynamo ; cette méthode aurait réduit de près de 40 % la latence entre les tokens au 90e percentile. Prime Intellect prévoit d’ajouter l’inférence par lots et asynchrone, puis le déploiement en un clic de modèles affinés sur des capacités réservées. La plateforme vise donc à servir à la fois les demandes fluctuantes et les usages continus, tout en proposant progressivement de nouveaux modes d’exécution et de déploiement.