Brève

SGLang-Neuron sur AWS Trainium

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Marc

Amazon Web Services a rendu SGLang-Neuron accessible au public jeudi, dans un conteneur AWS Deep Learning, selon Amazon Web Services. SGLang-Neuron permet de servir des modèles sur les puces AWS Trainium, en conservant l’interface habituelle de SGLang, tandis que l’exécution repose sur PyTorch natif. Le plugin prend aussi en charge la production de rollouts pour l’apprentissage par renforcement sur Trainium ; il couvre donc à la fois le service de modèles et cette étape de production associée à l’apprentissage. Ces deux usages sont proposés avec la même interface SGLang, sans remplacer le cadre d’exécution PyTorch natif indiqué par AWS. Le dispositif permet également de séparer les étapes de prefill et de decode, puis de transférer le cache KV entre serveurs par l’intermédiaire de NIXL et d’Elastic Fabric Adapter. Au total, SGLang-Neuron associe sur Trainium le service de modèles, la production de rollouts et la séparation prefill-decode, dans un conteneur désormais accessible au public.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.