AWS intègre NVIDIA Dynamo à SageMaker HyperPod
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Marc
Amazon Web Services annonce la prise en charge de NVIDIA Dynamo dans SageMaker HyperPod Inference, afin de déployer des modèles d’intelligence artificielle sur plusieurs serveurs. Dynamo est un outil libre d’inférence distribuée, c’est-à-dire qu’il répartit le calcul entre plusieurs machines pour répondre aux demandes adressées à un modèle. L’intégration peut séparer le préremplissage, qui traite le prompt, de la génération des tokens, qui produit la réponse, puis ajuster le routage des requêtes en tenant compte du cache KV, une mémoire intermédiaire réutilisée pendant le calcul. HyperPod prend en charge la gestion de l’infrastructure : il coordonne la planification des processeurs graphiques, s’appuie sur son réseau EFA et surveille les serveurs pour pouvoir récupérer ceux qui rencontrent un problème. Dynamo peut aussi fonctionner avec des moteurs d’inférence comme vLLM, SGLang et TensorRT-LLM ; lorsque le préremplissage et le décodage sont séparés, leurs groupes de serveurs peuvent être dimensionnés séparément, tandis que le cache KV circule entre eux par le réseau EFA. L’enjeu apparaît avec des modèles très volumineux : les poids FP8 de GLM-5.3 dépassent les 640 gigaoctets de mémoire graphique d’une instance ml.p5.48xlarge, avant même de compter le cache et les besoins d’exécution. Cette intégration associe donc la répartition de l’inférence sur plusieurs nœuds à la planification des GPU, au réseau et à la récupération des nœuds par HyperPod.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.