Les représentations visuelles des objets ont un horizon spatial fini

OOndine

Une étude publiée sur arXiv montre que des Vision Transformers préentraînés permettent de décoder avec une forte précision si deux patches d’une image appartiennent au même objet, à partir de leurs représentations numériques figées. Ces représentations, appelées embeddings de patches, sont donc utilisées sans être modifiées pendant l’analyse : des sondes exploitent les informations qu’elles contiennent pour estimer si les deux fragments visuels correspondent au même objet. Le signal associé à cette appartenance diminue de façon monotone lorsque la distance entre les patches augmente ; autrement dit, le décodage devient moins probable pour des fragments plus éloignés, sans que l’étude affirme qu’il soit impossible. Cette diminution est décrite par une loi exponentielle caractérisée par une échelle spatiale finie, puis le signal atteint un niveau plancher non nul. L’observation porte sur différentes tailles d’objets et sur trois familles de sondes, c’est-à-dire trois approches d’analyse destinées à lire l’information contenue dans les représentations. Le même résultat apparaît sur les jeux d’images ADE20K et COCO, ainsi que dans les architectures DINO et CLIP ; il est donc rapporté dans plusieurs contextes d’évaluation et familles de modèles. Ces expériences indiquent que les représentations visuelles préentraînées contiennent un signal décodable sur l’appartenance de patches à un même objet, mais que la force de ce signal dépend de leur éloignement dans l’image et diminue selon une échelle spatiale finie.