AVA, un cadre sans entraînement pour l’apprentissage multimodal

MMarc

TraceICL présente AVA, un cadre sans entraînement qui vise à améliorer l’apprentissage multimodal en contexte avec des modèles vision-langage dont les paramètres restent gelés, dans un article publié sur arXiv lundi. Le cadre organise en 3 étapes composables la sélection et le traitement des démonstrations, c’est-à-dire des exemples intégrés au contexte pour guider le modèle, sans modifier ses paramètres par un entraînement. L’objectif est notamment de réduire les erreurs d’association entre les images et les textes, ainsi que la présence d’exemples redondants dans les démonstrations retenues. Le premier mécanisme décrit, le décomposeur TRD, sépare le contexte multimodal entrelacé en fils correspondant à chaque échantillon, puis le réassemble en marquant explicitement les frontières entre ces fils. Cette organisation doit préserver le lien entre chaque image et le texte qui lui correspond, au lieu de laisser les éléments de plusieurs échantillons mêlés dans le contexte traité par le modèle. Le second mécanisme, le sélecteur IDS, estime l’influence marginale de chaque démonstration candidate en faisant passer le modèle une fois de plus, puis s’appuie sur cette estimation pour écarter les exemples redondants et ordonner les autres. Le cadre décrit donc une méthode de préparation et de sélection des exemples, plutôt qu’un nouvel entraînement du modèle lui-même ; les éléments disponibles ne détaillent pas le troisième mécanisme ni les résultats expérimentaux, et ne permettent donc pas de mesurer l’efficacité obtenue.