VERA, un tableau de bord pour évaluer les déploiements de grands modèles de langage

LLéna

Des chercheurs présentent VERA, un tableau de bord qui aide les organisations à évaluer des déploiements de grands modèles de langage au regard de pratiques d’intelligence artificielle responsable et de l’AI Act européen. Leur publication, consacrée à l’outil, est déposée sur arXiv, une plateforme de prépublications. Le contexte est celui des organisations qui doivent examiner des éléments techniques avant d’approuver le déploiement d’un modèle. Le cadre COMPL-AI propose une interprétation technique de l’AI Act, organisée en 6 groupes de principes et 18 exigences. Les benchmarks publics actuels, autrement dit des tests, peuvent mesurer 12 de ces exigences. L’idée de VERA est de réunir ces évaluations dans une interface. On peut imaginer une boîte à outils bien rangée : l’évaluateur choisit un modèle, lance les benchmarks publics disponibles, puis consulte les résultats au même endroit, exigence par exigence. VERA est open source et auto-hébergé. Une organisation peut donc l’héberger dans son propre environnement. L’outil a été déployé pour soutenir les processus d’intelligence artificielle responsable au sein d’une grande banque européenne. Les chercheurs ont aussi comparé la lecture des résultats dans des fichiers bruts et leur consultation dans le tableau de bord. Pour effectuer cette évaluation, le temps moyen est passé de 56 secondes avec les fichiers bruts à 30 secondes avec VERA. Dans une enquête menée au sein de l’organisation, les participants ont donné à l’outil une note moyenne de 4,36 sur 5 pour son utilité. La publication indique également que VERA mesure l’énergie consommée par chaque évaluation, afin d’ajouter des éléments sur son impact environnemental. Mais les benchmarks actuels ne couvrent que 12 des 18 exigences techniques. VERA peut faciliter l’examen des résultats mesurables ; ces résultats ne suffisent pas, à eux seuls, à conclure qu’un déploiement respecte l’ensemble de l’AI Act.