Comment les transformeurs de diffusion débruitent les images

MMarc

Les auteurs d’une étude publiée sur arXiv jeudi cherchent à comprendre comment les transformeurs de diffusion, des modèles qui apprennent à retirer progressivement le bruit des images, s’appuient sur l’attention et les réseaux MLP pour reconstruire leur contenu. Pour expliquer leur fonctionnement, les auteurs proposent de voir ces modèles comme des débruiteurs qui adaptent leurs calculs à l’image reçue. Imaginez que vous restaurez une petite zone d’un tableau en observant ce qui l’entoure. L’attention rassemble des indices venant d’autres morceaux de l’image, appelés patches. Les réseaux MLP utilisent ensuite ces indices pour prédire le contenu du morceau à corriger. Autrement dit, l’attention joue le rôle d’un agrégateur, et les MLP celui d’un prédicteur. Dans un cadre mathématique fondé sur des champs aléatoires de Markov gaussiens, les auteurs montrent qu’on peut approcher le débruiteur bayésien global, qui estime le contenu à partir d’une image bruitée, en ne regardant qu’une partie des patches de contexte. Quand cette zone de contexte s’élargit, l’erreur diminue de façon exponentielle. Ce résultat théorique concerne ces modèles mathématiques, et ne garantit pas le même comportement pour toutes les images. L’étude relie aussi cette interprétation aux débruiteurs linéaires appliqués à chaque patch. Si l’agrégation du contexte est suffisamment informative, ces débruiteurs peuvent retrouver le débruiteur local observé dans les données. Dans ce cadre, l’attention modulée par AdaLN pourrait agréger des informations en fonction de l’image et du niveau de bruit. Les expériences apportent d’autres éléments en faveur de cette lecture. Dans une étude contrôlée sur CelebA64, des prédicteurs partagés utilisés à la place des MLP obtiennent des performances compétitives pour le débruitage et la génération d’images.