vLLM mesure son débit à l’échelle d’un rack
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Ondine
Neuf cent cinquante-quatre mille tokens par seconde et par processeur graphique : vLLM annonce ce débit sur un rack NVIDIA GB300 NVL72, selon AlphaSignal. Ce résultat de benchmark mesure le débit obtenu lorsque le moteur fonctionne à l’échelle d’un rack, plutôt que sur un seul nœud. Il donne un repère concret sur la capacité de vLLM à traiter des tokens avec une infrastructure regroupant de nombreux processeurs graphiques. Pour évaluer le service de modèles d’intelligence artificielle, cette mesure éclaire les performances possibles à grande échelle, sans garantir les mêmes résultats dans tous les usages.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.