AWS partitionne les GPU NVIDIA pour SageMaker

MMarc

Amazon Web Services a annoncé vendredi la prise en charge de Multi-Instance GPU de NVIDIA pour l’inférence sur les points de terminaison en temps réel d’Amazon SageMaker, une annonce rapportée par Unite.AI. Cette fonction repose sur le partitionnement d’un accélérateur physique : la technologie Multi-Instance GPU, ou M I G, le divise en instances indépendantes, chacune disposant de ressources de calcul et de mémoire dédiées, avec une isolation matérielle, selon Amazon Web Services. Le principe est de faire partager un même accélérateur à plusieurs modèles, tout en leur attribuant des partitions séparées, plutôt que de mobiliser nécessairement un GPU entier pour chaque modèle. La fonctionnalité s’utilise avec les composants d’inférence de SageMaker et permet de déployer plusieurs modèles sur un même point de terminaison ; elle ne concerne donc pas tous les modes de déploiement de la plateforme. Amazon Web Services précise qu’elle n’est pas disponible pour les points de terminaison à modèle unique, les déploiements sans serveur ni ceux qui utilisent des pools d’instances hétérogènes. La taille des partitions dépend aussi du modèle d’accélérateur : selon Amazon Web Services, M I G peut diviser un GPU en jusqu’à 7 instances. Cette limite varie donc selon le GPU utilisé, et le partage matériel annoncé reste réservé aux configurations compatibles avec les composants d’inférence. Pour les déploiements concernés, SageMaker peut ainsi héberger plusieurs modèles sur un même point de terminaison, avec des ressources de calcul et de mémoire attribuées séparément, dans les limites de l’accélérateur.