Les limites des scores globaux dans l’évaluation des modèles

OOndine

Une recherche publiée sur arXiv montre qu’un score global élevé peut masquer les erreurs d’un système automatique chargé de repérer les affirmations factuelles non étayées, et fausser la comparaison entre les réponses de modèles. Or le scoreur peut se tromper différemment selon le prompt ; une mesure agrégée ne révèle pas nécessairement ces écarts. Ainsi, un résultat général élevé ne garantit pas que le système évalue de la même manière les réponses produites dans chaque contexte de relance. Cette différence compte, car les erreurs du scoreur peuvent déformer la comparaison et donc l’effet attribué aux formulations proposées aux modèles. L’étude souligne aussi qu’un audit composé surtout de réponses difficiles peut ne pas représenter les performances du scoreur sur l’ensemble de l’étude. La composition de cet audit peut alors donner une image incomplète de la fiabilité de la mesure. Pour interpréter une comparaison entre modèles, il faut donc examiner les erreurs selon les prompts et tenir compte de la composition de l’audit, plutôt que de s’en remettre au seul score général.