Trois contrôles contre la corruption silencieuse sur SageMaker HyperPod
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Marc
AWS décrit 3 contrôles à intégrer à l’entraînement distribué avec PyTorch, pour repérer une corruption silencieuse des calculs et permettre à SageMaker HyperPod de remplacer un nœud suspect. Le premier contrôle vérifie si les gradients contiennent des valeurs non finies, qui peuvent signaler une anomalie dans le calcul. Le deuxième rejoue des calculs sur un autre nœud, puis compare les pertes et les gradients obtenus. Le troisième compare les empreintes des poids entre les réplicas, afin de repérer une différence entre leurs résultats. Lorsqu’un contrôle détecte une anomalie, le rang concerné est associé à son nœud, que SageMaker HyperPod peut alors remplacer automatiquement ; ces contrôles visent ainsi à isoler le nœud suspect sans attendre qu’une panne matérielle classique se manifeste. AWS a testé la méthode avec des pannes injectées par logiciel, sur un cluster SageMaker HyperPod de 4 instances, équipées au total de 32 processeurs graphiques NVIDIA H100 ; chaque test a été répété sur 3 instances, le minimum requis par les contrôles. Pour illustrer l’enjeu à grande échelle, AWS rapporte que Meta a attribué 6 interruptions inattendues à la corruption silencieuse, parmi 419 interruptions observées pendant 54 jours de pré-entraînement de Llama 3 405B, sur jusqu’à 16 000 processeurs graphiques H100. Ce décompte ne couvre que les corruptions qui ont interrompu une tâche et ont été identifiées comme telles ; il ne mesure donc pas toutes les erreurs possibles.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.