Le plafond des systèmes de recommandation

OOndine

Des chercheurs publient jeudi sur arXiv une étude sur les systèmes de recommandation qui utilisent de grands modèles de langage. Ils cherchent à savoir si les tests de ces systèmes reflètent leurs performances quand ils classent des recommandations. Le travail porte sur 2 étapes. D’abord, un système recherche des éléments susceptibles de convenir. Ensuite, un ré-ordonnanceur trie cette sélection. Imaginez qu’on demande à quelqu’un de retrouver puis de classer des livres dans une bibliothèque. Si on glisse déjà le livre attendu dans sa pile, son résultat ne montre pas s’il aurait su le retrouver. Certains tests, dits « oracle », garantissent ainsi que le bon élément figure parmi ceux à classer. La recherche initiale impose un plafond : à 100 candidats, elle ne retrouve que 2 à 19 % des éléments pertinents dans les données étudiées. Un système ne peut pas faire remonter un élément absent de sa sélection. Les chercheurs ont testé plusieurs pistes, dont l’amélioration des consignes, des modèles de tailles différentes sur une plage de 168 fois, le réglage LoRA et la fusion d’un grand modèle de langage avec le filtrage collaboratif. Avec une recherche réaliste, aucune de ces stratégies ne dépasse significativement la méthode de référence du filtrage collaboratif sur les principaux jeux de données Amazon. Les auteurs proposent donc RAEP : mesurer d’abord le rappel de la recherche, c’est-à-dire la part des éléments pertinents retrouvés, puis évaluer le tri. La précaution à retenir est simple : quand le rappel est faible, améliorer la recherche compte davantage que perfectionner le ré-ordonnanceur. Cet ordre peut changer si un système retrouve plus d’éléments, dispose de données plus riches ou reçoit des retours en ligne.