TriageRAG veut diagnostiquer les échecs des systèmes spécialisés

OOndine

Les auteurs de TriageRAG proposent une méthode pour adapter des systèmes de génération augmentée par récupération à des domaines spécialisés, à partir de corpus non annotés, selon arXiv. Les méthodes d’auto-entraînement comme SimRAG génèrent des paires de questions et de réponses à partir de passages du domaine, puis affinent le modèle avec les exemples qui passent un filtre de cohérence aller-retour. Ce filtre sélectionne des exemples, mais, selon les auteurs, ne distingue pas les cas où le modèle connaît déjà la réponse de ceux où il doit l’extraire du contexte. Il ne permet pas non plus de déterminer si une erreur vient du modèle lecteur ou du système de récupération, chargé de fournir les passages utiles. TriageRAG entend intégrer ce diagnostic des causes d’échec à l’auto-entraînement, afin de mieux tenir compte des difficultés propres aux corpus spécialisés. L’objectif est donc de distinguer les types de blocage plutôt que de traiter de la même façon tous les exemples retenus par le filtre. La méthode est conçue pour adapter les systèmes à des domaines spécialisés à partir de corpus non annotés, en tenant compte de ces causes d’échec.