Le papier du jour

Quand les utilisateurs changent aussi le test

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Marc

Une étude publiée sur arXiv examine comment les utilisateurs qui s’adaptent aux réponses d’un modèle de langage peuvent modifier l’évaluation des modèles interactifs. La question est simple : peut-on comparer deux modèles de la même façon quand les personnes qui les utilisent changent aussi leur manière de leur parler ? Après une réponse, un utilisateur peut reformuler sa demande ou choisir une tâche plus difficile. Les prompts, c’est-à-dire les instructions envoyées au modèle, évoluent donc au fil de l’échange. Et comme les réponses dépendent du modèle, les demandes qui servent ensuite à l’évaluer dépendent elles aussi du modèle testé. Les élèves adaptent leurs questions à la façon dont chaque professeur répond. Si l’on compare les professeurs avec une même série de questions, on mesure leur performance dans des conditions identiques. C’est la comparaison à distribution commune. Si l’on évalue chaque professeur avec les questions que ses propres élèves ont fini par poser, on mesure autre chose : la performance sur les demandes suscitées par l’interaction avec ce professeur. L’étude distingue ainsi deux mesures qui ne répondent pas à la même question. Un benchmark hors ligne vise à comparer les modèles selon l’effet à distribution commune. Un test A/B en conditions réelles vise, lui, à mesurer l’effet à distribution induite, c’est-à-dire sur les demandes façonnées par l’interaction avec chaque modèle. Les classements peuvent différer entre ces deux approches, et les recommandations de déploiement aussi. Les chercheurs décrivent une condition suffisante pour que les classements concordent, mais cela ne signifie pas qu’ils seront toujours identiques. Dans un modèle linéaire simplifié, l’étude montre aussi que l’adaptation des utilisateurs peut augmenter la variabilité des estimations. Il faut donc tenir compte non seulement des performances du modèle, mais aussi des changements de comportement qu’il suscite. Un benchmark hors ligne et un test en conditions réelles ne mesurent pas la même chose : leurs résultats peuvent éclairer des décisions différentes, sans que l’un permette à lui seul de prédire l’autre.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.