CrisisBench évalue les IA de conseil en situation de crise
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Marc
CrisisBench est une suite d’évaluation conçue pour tester les intelligences artificielles dans des échanges de conseil en situation de crise, selon arXiv. Elle vise à préserver la vie privée et couvre des conversations menées en un seul tour, comme des échanges qui se poursuivent sur plusieurs tours. Pour les tâches à un tour, elle s’appuie sur 1 085 exercices issus de 200 conversations désidentifiées, auxquelles s’ajoutent 1 185 modèles de patients générés par intelligence artificielle à partir de métadonnées de lignes d’écoute. Ces éléments constituent deux types de supports d’évaluation : des tâches tirées de conversations désidentifiées et des patients simulés à partir de métadonnées. Les chercheurs ont calibré les modèles de patients et un évaluateur fondé sur 23 critères avec des conseillers humains experts, afin que ces évaluations reposent sur leur expertise. L’étude a testé cinq modèles GPT, ainsi que des approches qui rédigent une réponse avant de la réviser et des méthodes de génération augmentée par récupération. Les systèmes testés ont obtenu des résultats inférieurs à ceux des conseillers humains sur un critère dont le libellé est tronqué dans le résumé ; le texte disponible ne permet donc pas de préciser ce qui est mesuré, ni de détailler l’écart observé.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.