VAR-Q étudie la mémoire des modèles visuels

MMarc

VAR-Q analyse les caches clés-valeurs des modèles visuels autorégressifs et leurs propriétés, dans une étude publiée sur arXiv. Ces modèles génèrent des images ou des vidéos par blocs, plutôt que token après token, et les auteurs examinent la mémoire utilisée par ces caches au cours de la génération. Ils indiquent qu’elle peut dépasser celle occupée par les poids du modèle, ce qui limite son déploiement à grande échelle. L’analyse met aussi en évidence des canaux contenant des valeurs extrêmes, qui jouent un rôle fonctionnel important dans la génération. Quand ces canaux sont supprimés, la génération se dégrade fortement, contrairement à la suppression de canaux ordinaires comparables. Les valeurs extrêmes ne sont pas réparties de manière uniforme : elles s’organisent selon les dimensions des caractéristiques et des blocs. Leur amplitude reste stable à l’intérieur de chaque cellule ainsi définie, mais varie d’une cellule à l’autre. Ces observations décrivent à la fois la consommation mémoire des caches visuels et la façon dont certaines valeurs y sont structurées. Elles montrent aussi que les canaux n’ont pas tous le même rôle : supprimer les canaux à valeurs extrêmes a un effet marqué, alors que la suppression de canaux ordinaires comparables ne produit pas la même dégradation. L’étude met donc en évidence deux caractéristiques des caches à prendre en compte pour comprendre leur fonctionnement : une mémoire susceptible de dépasser celle des poids, et une organisation des valeurs liée aux dimensions des caractéristiques et des blocs. Elle ne permet pas, à elle seule, de conclure à une méthode particulière de quantification ou à un gain mesuré de mémoire.