Adapter les modèles aux puces AMD

LLéna

Meta présente sur arXiv une méthode pour entraîner des modèles de recommandation sur des accélérateurs AMD, en comparant notamment le MI350X au B200 de NVIDIA. La question posée est la suivante : comment adapter l’entraînement aux caractéristiques d’une puce AMD, plutôt que de reprendre directement les optimisations conçues pour les GPU NVIDIA ? L’idée défendue par Meta est de concevoir ensemble les modèles et les logiciels, en tenant compte du matériel utilisé. Autrement dit, il ne s’agirait pas seulement de transférer un modèle déjà réglé pour une autre puce : il faudrait aussi modifier sa structure et les recettes logicielles pour exploiter les particularités de l’accélérateur. C’est comme adapter une recette à un four différent : on ne change pas seulement l’appareil, on ajuste aussi la préparation et la cuisson. L’étude indique que le MI350X dispose de 1,6 fois plus de mémoire HBM que le B200. Meta décrit aussi un modèle analytique de performance, qui sélectionnerait les opérations de calcul adaptées aux différents formats de données et aux formes de matrices, sans phase de réglage préalable. L’entreprise indique également avoir étendu des méthodes automatisées pour optimiser les calculs selon l’architecture des puces. Par rapport à une méthode qui transfère directement les optimisations NVIDIA, ces approches auraient amélioré jusqu’à 1,5 fois le débit d’entraînement de bout en bout dans l’étude. Ce chiffre correspond au meilleur résultat annoncé : il ne signifie pas que tous les modèles ou tous les usages gagneraient autant. Le travail examine un cas précis : l’entraînement de modèles de recommandation en comparant le MI350X et le B200. Il décrit des méthodes de recherche, et non l’annonce d’un nouveau produit. Le résultat de débit annoncé concerne donc cette comparaison et ce type d’entraînement.