RWTH Aachen conçoit un vérificateur pour les systèmes RAG

MMarc

Des chercheurs de l’université RWTH Aachen proposent une méthode pour vérifier qu’un système de génération augmentée par récupération s’appuie bien sur les preuves externes qu’il reçoit, plutôt que de seulement produire une réponse plausible, selon AlphaSignal. Leur vérificateur évalue ensemble trois éléments : le cas examiné, une affirmation structurée et une preuve ; cette mise en relation vise à déterminer si la preuve étaye l’affirmation dans ce cas précis. Pour entraîner le dispositif, les chercheurs génèrent automatiquement des exemples négatifs, notamment en associant une preuve au mauvais état clinique ou en utilisant un élément qui porte sur le même sujet sans être pertinent pour l’affirmation. Sur MIMIC-CXR, un jeu de données radiologiques, le vérificateur obtient 97,4 d’AUROC avec les preuves correctes. Lorsque les preuves sont remplacées, son score descend à 55 d’AUROC ; ce résultat indique une forte baisse dans cette évaluation, sans établir à lui seul que tous les systèmes RAG réagissent de la même façon. Le vérificateur atteint aussi 93,5 d’AUROC sur CheXpert-Plus sans réentraînement, ce qui montre un résultat sur un autre jeu de données radiologiques dans les conditions évaluées. Les auteurs signalent toutefois deux limites pratiques : le changement de source des preuves et le choix du modèle de base peuvent affecter le fonctionnement de la méthode.