Évaluer la cohérence des modèles de langage

LLéna

Un article de recherche publié sur arXiv propose d’évaluer la cohérence des grands modèles de langage en comparant leurs réponses à des requêtes de sens équivalent. L’article formalise cette cohérence comme une invariance sémantique : lorsqu’une requête est reformulée sans changer son sens, les réponses du modèle devraient rester cohérentes. Mais garantir cette invariance pour toute transformation qui préserve le sens est indécidable en général, indiquent les auteurs. Ils proposent donc de limiter l’évaluation à des domaines sémantiques bornés, plutôt que de chercher à vérifier toutes les formulations possibles. Pour définir ces limites et les contextes dans lesquels interpréter les requêtes, leur méthode s’appuie sur des graphes de connaissances, qui explicitent les contraintes sémantiques locales. L’article présente aussi Recursive Semantic Divergence, ou RSD, une métrique non supervisée au niveau des trajectoires, destinée à mesurer la cohérence d’agents fondés sur des modèles de langage entre plusieurs exécutions. Les expériences testent cette approche sur l’ontologie MITRE D3FEND et sur 8 domaines dérivés de Wikidata. Dans les domaines étudiés, les incohérences observées se concentrent dans des sous-graphes localisés, au lieu de se répartir de façon aléatoire. Ces résultats situent donc l’évaluation dans un périmètre de connaissances défini : ils permettent de localiser les zones où apparaissent des incohérences dans les tests, sans établir que les modèles restent cohérents dans tous les contextes ou face à toutes les reformulations.