Meta adapte l’entraînement des modèles aux GPU AMD

LLéna

Meta présente sur arXiv une méthode pour entraîner des modèles de recommandation sur des accélérateurs AMD. L’entreprise cherche à comprendre comment tirer parti des caractéristiques de ces puces, plutôt que de leur appliquer directement des réglages conçus pour les processeurs graphiques de NVIDIA. L’étude compare notamment l’Instinct MI350X d’AMD au B200 de NVIDIA. L’idée centrale est de concevoir ensemble le matériel et le modèle. Cela signifie adapter à la fois la structure du modèle et les recettes logicielles aux caractéristiques de l’accélérateur. On peut comparer cela à une recette prévue pour un four particulier : changer de four sans modifier les réglages ne garantit pas le même résultat. Il faut tenir compte de l’appareil utilisé. Ici, les choix de calcul sont donc ajustés aux capacités de la puce, au lieu d’être simplement copiés depuis une autre plateforme. Un chiffre illustre une différence matérielle : le MI350X dispose de 1,6 fois plus de mémoire à bande passante élevée que le B200. Meta décrit aussi un modèle analytique de performance. L’approche combine donc plusieurs leviers : modifier le modèle, choisir les opérations en fonction des calculs à réaliser et adapter les logiciels au matériel. Pour l’entraînement de modèles de recommandation étudié, Meta annonce jusqu’à 1,5 fois plus de débit que la méthode de référence, qui transpose directement les réglages d’une autre plateforme. Le chiffre est un maximum observé dans ce cadre, pas une garantie de gain dans d’autres situations.