RICE, des représentations pour chercher sans entraînement

MMarc

Des auteurs présentent RICE, une méthode qui utilise quelques exemples pour produire des représentations adaptées à la recherche documentaire, sans entraînement dédié. Leur publication, déposée sur arXiv mercredi, examine si un grand modèle de langage peut créer ces représentations à partir d’exemples fournis dans une consigne, plutôt qu’en étant entraîné spécialement pour cette tâche. Pour comprendre l’idée, pensons à un bibliothécaire qui doit rapprocher des questions de lecteurs des descriptions de livres. Si les questions et les descriptions sont préparées selon les mêmes repères, la comparaison devient plus directe. RICE applique ce principe au modèle : quelques exemples lui fournissent un contexte commun pour représenter les requêtes et les documents. Les deux types de contenus sont ainsi traités dans un cadre partagé. Ces représentations, souvent appelées embeddings, sont des versions numériques des questions et des documents, conçues pour pouvoir être comparées par un moteur de recherche. Ici, les exemples guident la production de ces représentations. La méthode ne demande pas d’entraînement dédié : elle s’appuie sur le contexte donné au modèle au moment de la recherche. Autrement dit, il ne s’agit pas de modifier le modèle par un nouvel entraînement, mais de lui montrer des exemples qui orientent la façon dont il représente les éléments à comparer. Selon les résultats rapportés par les auteurs sur arXiv, les représentations de RICE améliorent sensiblement la précision des représentations produites par des grands modèles de langage lorsqu’ils sont guidés par des consignes et des exemples. Les auteurs proposent ainsi une méthode pour construire des systèmes de recherche documentaire fondés sur ces modèles, sans entraînement dédié. Les résultats ne sont accompagnés d’aucun chiffre dans les éléments rapportés ici : l’ampleur du gain n’est donc pas précisée.