EQ-VMamba, un modèle de vision plus stable aux rotations

LLéna

Des chercheurs de l’université Xi’an Jiaotong présentent EQ-VMamba, un modèle Mamba pour la vision conçu pour conserver ses prédictions quand une image tourne de 90 degrés, une propriété qu’ils décrivent comme une première pour un modèle Mamba visuel, selon AlphaSignal. Pour traiter les images de façon cohérente malgré ces rotations, EQ-VMamba utilise un mécanisme appelé EQ-cross-scan, qui suit quatre parcours symétriques. Ses blocs Mamba partagent leurs poids entre les orientations, au lieu d’apprendre un jeu de poids distinct pour chacune. Sur ImageNet-100, sa version Tiny atteint 88,58 % de précision top-1 avec 10 millions de paramètres, contre 30 millions pour VMamba-T ; les gains de précision rapportés se situent entre 0,38 et 0,78 point. La différence de taille est notable : EQ-VMamba utilise ainsi trois fois moins de paramètres tout en obtenant une meilleure précision sur ce test de classification. Les résultats s’étendent à la segmentation d’images de télédétection : EQ-VMamba dépasse VMamba de 3 à 6 points de mIoU sur LoveDA et ISPRS Potsdam. Sur ADE20K, VMamba-T perd 24,17 points de mIoU après rotation des images, tandis qu’EQ-VMamba conserve des résultats stables pour les rotations cardinales. Cette robustesse peut être utile pour analyser des images satellites, qui n’ont pas toujours d’orientation naturelle ; le code est publié sur GitHub et le modèle prend aussi en charge la segmentation et la super-résolution.