NVIDIA publie des recettes pour quatre modèles coréens

OOndine

NVIDIA publie des recettes de déploiement pour son framework Dynamo afin de faciliter la mise en production de quatre modèles ouverts coréens, selon NVIDIA. Les recettes concernent A.X K2, développé par SK Telecom, K-EXAONE 2.0, de LG AI Research, Solar Open 2, d’Upstage, et Motif-3, de Motif Technologies. Dynamo est un framework open source d’inférence distribuée : il coordonne le routage des requêtes et les communications nécessaires pour servir des modèles répartis sur plusieurs processeurs graphiques et plusieurs nœuds. Cette coordination concerne à la fois l’orientation des requêtes et les échanges entre les ressources qui participent au service des modèles. Elle permet ainsi à Dynamo de prendre en charge l’inférence lorsque les modèles sont distribués sur plusieurs processeurs graphiques ou sur plusieurs nœuds, plutôt que sur un seul processeur graphique. Les recettes publiées s’appuient sur cette fonction de coordination et sont optimisées pour les processeurs graphiques B200 de NVIDIA. Elles visent à faciliter le déploiement des quatre modèles concernés et à accélérer leur passage en production. NVIDIA annonce jusqu’à 2 fois plus de performances dès la mise en œuvre de ces recettes optimisées ; ce chiffre correspond à un maximum annoncé, et non à une mesure uniforme pour chaque configuration. L’objectif est donc de fournir des recettes adaptées à Dynamo et aux B200, avec des performances pouvant atteindre le niveau annoncé et un déploiement facilité pour ces modèles ouverts coréens.