Le papier du jour

Des scores plus élevés ne garantissent pas plus de travail

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Ondine

Des chercheurs publient sur arXiv une étude consacrée à une question concrète : un modèle d’intelligence artificielle mieux noté en programmation aide-t-il vraiment les développeurs à accomplir davantage de travail ? Pour mener leur étude, les auteurs exploitent la suspension de Claude Fable 5 pendant 19 jours, à partir du 12 juin 2026. La plupart des utilisateurs concernés passent alors à Opus 4.8, qui obtient un score inférieur de 11 points sur SWE-Bench Pro. Les chercheurs observent l’activité des utilisateurs avant, pendant et après la suspension, puis la comparent à celle d’autres développeurs. L’idée ressemble à une expérience où une même équipe garde ses personnes et ses projets, mais change d’outil : cela aide à isoler l’effet du modèle. L’étude suit les demandes de modification de code, appelées pull requests, publiées sur GitHub par 297 utilisateurs de Fable 5. En parallèle, elle prend comme groupe de comparaison 8 908 développeurs restés sur Opus 4.8 pendant toute la période. Les auteurs évaluent notamment la part des demandes fusionnées dans les 7 jours. L’accès à Fable 5 est associé à une hausse de 1,4 point de cette proportion, mais le résultat n’est pas statistiquement significatif. L’étude ne permet donc pas d’établir que Fable 5 améliore cette mesure. Les chercheurs ne trouvent pas non plus de hausse significative du nombre de demandes fusionnées chaque semaine : l’estimation est de 2,4 % de plus, avec une marge d’incertitude qui inclut l’absence d’effet. Le passage au modèle moins bien noté n’a donc presque pas affecté la productivité observée pendant la suspension, selon Unite.AI. Il faut toutefois limiter la conclusion : l’analyse porte sur les demandes de code suivies sur GitHub.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.