AugLy pour évaluer la robustesse multimodale

MMarc

MarkTechPost présente un tutoriel consacré à l’évaluation de la robustesse multimodale, qui utilise AugLy pour augmenter des données d’images, de texte et d’audio, puis les intégrer à des jeux de données et à des DataLoaders PyTorch. Le flux de travail associe ainsi l’augmentation de ces trois types de données à leur intégration dans l’environnement PyTorch, pour préparer des expériences portant sur plusieurs modalités. Le tutoriel détaille la composition de transformations, le suivi de leurs métadonnées et la création de transformations personnalisées, autant d’étapes qui permettent de construire le flux de travail décrit. Pour les images, il aborde aussi des transformations qui tiennent compte des boîtes englobantes, en plus des opérations d’augmentation appliquées aux données visuelles. Le tutoriel propose ensuite des expériences destinées à examiner la robustesse de modèles face à certaines transformations, avec des exemples portant sur les images et sur le texte. L’un de ces exemples consiste à tester la détection de copies d’images après distorsion, afin d’évaluer cette détection lorsque les images ont été transformées. Un autre porte sur des classificateurs de texte soumis à des perturbations adversariales et à de l’obfuscation Unicode, deux types de modifications inclus dans les expériences décrites. Le tutoriel expose ainsi une démarche pratique d’évaluation, mais ne donne pas de résultats comparatifs chiffrés : il ne permet donc pas de conclure qu’un modèle résiste mieux qu’un autre.