Brève

Mesurer l’effet des refus des modèles

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Léna

Les auteurs d’une étude présentent RAW, une méthode pour mesurer l’effet causal des refus des modèles de langage sur le comportement des utilisateurs, selon arXiv. Son principe repose sur les variations stochastiques d’un même modèle face à des requêtes presque identiques : pour certaines, il refuse, tandis que pour d’autres, il répond. Cette différence permet aux auteurs d’estimer ce qui change dans le comportement de l’utilisateur lorsqu’un refus survient, plutôt que de simplement constater qu’un refus a été formulé. Ils appliquent la méthode à 15 modèles de langage déployés, en s’appuyant sur les jeux de données LMSYS-Chat-1M et WildChat. L’étude s’intéresse à une question encore peu mesurée sur les modèles utilisés en production : le coût d’un refus pour les personnes qui sollicitent ces systèmes. Parmi les conséquences possibles figure le désengagement de l’utilisateur, mais les auteurs indiquent que ces effets ne sont pas mesurés sur les modèles de production. Leur évaluation est notamment pertinente dans un contexte où les tests A/B sont contraints sur les produits des grands laboratoires et ne sont pas disponibles aux plateformes tierces utilisant des interfaces de programmation fixes. RAW propose ainsi une méthode pour estimer l’effet des refus à partir de variations observées dans les réponses, sans que les résultats présentés précisent l’ampleur des conséquences pour les utilisateurs.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.