La réacquisition d’une association factuelle par un modèle

OOndine

Une étude publiée sur arXiv examine si un modèle réapprend plus facilement une association factuelle qu’il a déjà apprise. Elle cherche à déterminer si cet apprentissage préalable aide à réacquérir l’association, au-delà de la familiarité avec les éléments de la tâche. Pour isoler l’effet de l’apprentissage antérieur, les chercheurs testent Qwen2.5-1.5B dans 3 situations contrôlées. Dans la première, le modèle est exposé à l’association correcte entre des éléments factuels. Dans la deuxième, il reçoit une exposition comparable, mais sans cette association ; dans la troisième, il apprend une réponse concurrente au même emplacement. Cette comparaison vise à distinguer l’effet de l’association elle-même d’une simple familiarité avec les entités, les mots de la réponse, le format ou le type de question. Elle permet ainsi de comparer des historiques d’apprentissage différents, tout en contrôlant ces autres formes d’exposition. Ensuite, les 3 versions du modèle suivent le même flux d’apprentissage continu, sans répétition spécialement consacrée à la réponse cible. L’étude mesure alors si l’association visée est réacquise, et dans quelle mesure son apprentissage initial change cette réacquisition. Le résumé disponible décrit ce protocole, mais ne donne pas les résultats : il ne permet donc pas de conclure que l’apprentissage antérieur procure effectivement un avantage, ni de le quantifier.