AWS lance une passerelle mondiale pour HyperPod
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Marc
AWS a lancé vendredi Amazon SageMaker HyperPod Global Inference Gateway, une passerelle gérée pour acheminer les requêtes d’inférence vers des clusters HyperPod, selon Unite.AI. Le service donne un point d’accès unique pour envoyer ces requêtes aux clusters enregistrés, qu’ils se trouvent dans une région AWS ou dans plusieurs régions. La passerelle choisit un cluster en fonction de plusieurs signaux : la capacité, la file d’attente, la proximité et les erreurs. Ces critères servent à orienter les requêtes vers un cluster en tenant compte de l’état et de la situation des destinations disponibles, sans se limiter à un seul signal. Le service prévoit aussi un basculement automatique lorsqu’un cluster devient indisponible. Cette nouvelle passerelle s’ajoute à la passerelle d’inférence HyperPod déjà existante, dont le routage opère au niveau des clusters. La nouvelle couche se place au-dessus de celle-ci et étend le routage à l’échelle globale, entre des clusters qui peuvent être répartis dans plusieurs régions AWS. La distinction porte donc sur le niveau auquel s’effectue le routage : la passerelle existante agit au niveau des clusters, tandis que la nouvelle organise l’acheminement entre clusters. Pour les requêtes d’inférence, cela signifie qu’un seul point d’accès peut servir à joindre des clusters enregistrés dans une ou plusieurs régions, avec une sélection fondée sur les signaux annoncés et un basculement automatique en cas d’indisponibilité.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.