Pourquoi les assistants d’IA semblent-ils moins bons ?
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Léna
Des chercheurs publient une étude sur une question simple : les assistants d’intelligence artificielle donnent-ils vraiment de moins bonnes réponses, ou leurs utilisateurs sont-ils devenus plus exigeants ? Ils ont analysé 1 260 967 votes anonymes sur Chatbot Arena, une plateforme où l’on compare les réponses de deux modèles sans savoir lesquels ils sont. L’étude, déposée sur arXiv, examine l’évolution des jugements portés sur ces réponses. Pour distinguer un changement des modèles d’un changement de jugement, l’équipe a suivi des duels où les versions des deux modèles ne bougeaient pas. C’est un peu comme demander régulièrement à des clients de goûter les mêmes plats, sans changer la recette. Ils peuvent préférer l’un à l’autre, ou juger que les deux sont mauvais. Les chercheurs ont suivi ces votes entre mai 2023 et août 2024. Le résultat principal concerne justement cette dernière réponse. Pour une même paire de modèles inchangés, la part des votes disant que les deux réponses sont mauvaises augmente en moyenne de 1,71 point de pourcentage par mois. Cette part était de 17,1 % en moyenne. En 2024, la hausse atteint 1,91 point par mois. Et dans chacune des 14 paires observées régulièrement en 2023 et en 2024, les votes négatifs pour les deux réponses progressent. Cela suggère que les attentes des utilisateurs ont pu monter, et contribuer à l’impression que les assistants se dégradent. Si l’on s’habitue aux progrès d’une catégorie, une réponse qui aurait semblé correcte auparavant peut paraître décevante ensuite. Mais l’étude ne démontre pas que les modèles n’ont pas changé dans d’autres situations. Elle montre une tendance dans des comparaisons précises, avec des versions fixes. Certaines versions de modèles peuvent aussi évoluer. Il faut donc retenir une précaution : le jugement des utilisateurs peut changer en même temps que les outils, et cette étude ne permet pas d’écarter toutes les autres explications.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.