SGLang-Neuron sur AWS Trainium
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Marc
Amazon Web Services a rendu SGLang-Neuron accessible au public jeudi, dans un conteneur AWS Deep Learning, selon Amazon Web Services. SGLang-Neuron permet de servir des modèles sur les puces AWS Trainium, en conservant l’interface habituelle de SGLang, tandis que l’exécution repose sur PyTorch natif. Le plugin prend aussi en charge la production de rollouts pour l’apprentissage par renforcement sur Trainium ; il couvre donc à la fois le service de modèles et cette étape de production associée à l’apprentissage. Ces deux usages sont proposés avec la même interface SGLang, sans remplacer le cadre d’exécution PyTorch natif indiqué par AWS. Le dispositif permet également de séparer les étapes de prefill et de decode, puis de transférer le cache KV entre serveurs par l’intermédiaire de NIXL et d’Elastic Fabric Adapter. Au total, SGLang-Neuron associe sur Trainium le service de modèles, la production de rollouts et la séparation prefill-decode, dans un conteneur désormais accessible au public.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.