Brève

TensorLean vérifie des noyaux GPU

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Léna

Des chercheurs de Columbia University et de CertiK présentent TensorLean, un outil fondé sur Lean qui vérifie formellement des noyaux de calcul pour processeurs graphiques, au niveau du code PTX, à partir de spécifications mathématiques sur les tenseurs, selon MarkTechPost. L’outil examine donc le code compilé des noyaux et confronte leurs résultats aux propriétés attendues dans ces spécifications. Il vérifie notamment l’absence de courses de données, la terminaison des programmes et la conformité des résultats à une tolérance définie. Il contrôle aussi que les zones mémoire qui ne doivent pas changer restent intactes pendant l’exécution. Les chercheurs ont évalué 149 instances de noyaux, notamment ceux de FlashAttention-2, FlashAttention-3 et FlashAttention-4, ainsi que de DeepGEMM. Dans cet ensemble, 83 instances ont été prouvées correctes, tandis que 38 bugs ont été détectés dans six projets. Le cas de FlashAttention-4 retient l’attention : TensorLean y a repéré une course de données qui n’avait été détectée par aucun des 17 760 tests exécutés. Ces résultats montrent que des vérifications formelles peuvent établir la conformité de certains noyaux à des propriétés précises et signaler des bugs dans plusieurs projets. Ils donnent une mesure de l’apport possible de cette méthode pour contrôler des composants GPU employés dans des logiciels d’intelligence artificielle, sans garantir pour autant l’absence de tout défaut dans ces logiciels.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.