GeopoliticalQA évalue des systèmes sur des rapports de renseignement

OOndine

GeopoliticalQA est un benchmark conçu pour évaluer des systèmes de questions-réponses à génération augmentée par récupération sur des rapports de renseignement géopolitique et stratégique, selon arXiv. Le jeu rassemble 5 525 paires de questions et de réponses, fondées sur 415 rapports ouverts, et permet d’étudier la façon dont les systèmes traitent des documents spécialisés. Les questions couvrent plusieurs types de tâches : certaines demandent une réponse factuelle, d’autres une inférence ou une comparaison, tandis que d’autres portent sur les risques présents dans les rapports. Le benchmark sert à comparer 15 systèmes de recherche et 6 grands modèles de langage à poids ouverts, dans des configurations de génération augmentée par récupération, appelée RAG. Ceux-ci décrivent aussi un pipeline qui caractérise les rapports avant de générer des questions adaptées à leur contenu, au lieu de produire les questions sans tenir compte des documents. Pour évaluer la qualité du jeu de données, ils font appel à des experts pour annoter les exemples, puis à un modèle de langage pour porter un jugement sur cette qualité. GeopoliticalQA fournit ainsi un corpus de questions et de réponses ainsi qu’un protocole permettant de comparer ces systèmes sur des rapports ouverts, avec des questions factuelles, inférentielles, comparatives et liées aux risques.