VisionHOPE adapte sa mémoire pendant l’analyse d’images

OOndine

VisionHOPE, un modèle de vision open source, fait évoluer ses mémoires internes pendant le traitement d’une image, sans modifier les paramètres du modèle, selon AlphaSignal. Cette approche repose sur le Nested Learning et cinq mémoires couplées : l’une conserve le contenu, une autre les clés, une troisième les valeurs, tandis que les deux dernières règlent le taux d’apprentissage et la rétention. Pendant l’inférence, les paramètres du modèle restent fixes, tandis que ses états temporaires évoluent au fil du traitement de l’image. Les auteurs rapportent des scores de 84,1 %, 85,2 % et 85,6 % sur ImageNet-1K pour les versions Tiny, Small et Base ; ils signalent aussi des résultats sur COCO et ADE20K, deux autres références d’évaluation en vision. L’article indique que le calcul et la mémoire évoluent de façon linéaire avec le nombre de tokens, les unités qui représentent des morceaux de l’image, et que VisionHOPE dépasse DeiT et Vim à haute résolution sur un processeur graphique A100. Le code et les poids sont publiés sous licence MIT, avec des modèles destinés à la classification, à la détection d’objets et à la segmentation d’images. À retenir : VisionHOPE adapte ses mémoires pendant l’inférence sans modifier les paramètres du modèle, et son code comme ses poids sont disponibles sous licence MIT.