Pourquoi les textes d’intelligence artificielle sont parfois difficiles à lire

EElias

Alors, les chercheurs concluent que les grands modèles de langage emploient systématiquement des tournures qui rendent leurs textes plus difficiles à lire que ceux écrits par des humains, d’après The Decoder. Leur comparaison porte sur 14 modèles, testés dans trois types de tâches : des conversations, des sessions de programmation et des textes argumentatifs. Au total, l’étude examine 120 conversations, 45 sessions de programmation et 980 essais, puis confronte les résultats à des textes humains. Ces exemples humains viennent notamment de sous-titres de films, de discussions sur StackExchange et de dissertations d’étudiants. L’intérêt est de comparer plusieurs situations d’écriture, plutôt que de s’appuyer sur une seule impression de lecture. Les modèles évalués comprennent des systèmes comme Claude, GPT-5.6, GLM-5 et Kimi K2.5, mais aussi Llama et Olmo. Les chercheurs cherchent des régularités entre ces productions, et non une phrase isolée qui aurait été maladroite. Leur conclusion porte donc sur les textes examinés : elle ne dit pas que chaque réponse de chaque modèle est difficile à lire. Elle met en évidence des habitudes qui reviennent dans les productions et qui peuvent compliquer la lecture, même lorsque les mots restent compréhensibles.

EElias

La première est l’association de mots inhabituelle : une formule peut être compréhensible, mais ne pas correspondre à une manière courante de s’exprimer. La deuxième consiste à éloigner dans la phrase des mots qui sont liés, ce qui oblige le lecteur à garder en mémoire le début avant d’en retrouver la suite. Troisième tendance, les modèles omettent parfois un connecteur, ou un mot qui précise le lien entre deux éléments ; la relation reste à reconstruire. Ils empilent aussi plusieurs noms, comme dans une expression où il faut déterminer quel nom précise le précédent et comment les termes s’articulent. Cinquième habitude, un nom devient un verbe, avec une tournure comme « calendar it », c’est-à-dire l’idée de mettre quelque chose au calendrier exprimée par un verbe. Enfin, les modèles peuvent attribuer une action animée à un sujet inanimé, comme une conversation qui « mange sa propre queue ». Les chercheurs repèrent ces six tendances dans les productions étudiées, et non six fautes de grammaire. Une phrase reste parfois décodable, mais la combinaison des mots ou leur organisation peut demander un effort supplémentaire. C’est précisément ce décalage qui explique qu’un texte puisse paraître correct tout en étant pénible à parcourir.

EElias

Les chercheurs relient les habitudes observées à des méthodes d’entraînement qui privilégient la justesse des réponses et la densité d’information. Ils citent des tâches comme les mathématiques, le code et le raisonnement, où la justesse est mise en avant plutôt que la clarté. Brief IA explique également que le passage du retour humain à des récompenses vérifiables automatiquement peut contribuer à un « dialecte » compact, mais difficile à lire pour les humains. Ce terme désigne ici des habitudes de formulation associées aux méthodes d’entraînement, pas une langue distincte. Pour examiner un mécanisme possible, les chercheurs ont entraîné un petit modèle avec une pénalité liée à la longueur de ses réponses. Dans certaines conditions, le modèle a privilégié des formulations courtes jusque dans des contextes nouveaux. Les humains, eux, adaptaient la longueur de leurs réponses à la situation. Le résultat ne prouve pas que tous les modèles agissent de la même manière : il décrit cette expérience sur un petit modèle. Il montre toutefois comment une incitation à raccourcir peut se retrouver dans des contextes différents de celui de l’apprentissage. Les chercheurs relient ainsi une préférence stylistique possible à la manière dont une réponse est récompensée, sans affirmer que cette explication suffit à rendre compte de chaque texte généré.

EElias

Non, les résultats diffèrent selon les modèles. Parmi ceux qui ont été étudiés, Llama et le modèle de base Olmo se rapprochent le plus de l’écriture humaine. Pour Olmo, les résultats se dégradent du modèle de base à ses variantes instruct et reasoning. Cela signale une différence entre les versions de la famille, sans suffire à attribuer à une seule cause l’écart constaté. Du côté de Claude, Anthropic indique avoir pris en compte la clarté des phrases et la surcharge d’information avec Opus 5.5. Dans 19 comparaisons de lisibilité sur 21, Opus 5.5 obtient de meilleurs résultats qu’Opus 5. Ce résultat montre que les scores de lisibilité peuvent varier entre deux versions d’un modèle. Il ne signifie pas que chaque texte d’Opus 5.5 est clair, ni que les autres modèles suivront la même évolution. Les comparaisons portent sur les critères mesurés dans cette étude. L’ensemble des résultats dessine donc un tableau contrasté : certains modèles sont plus proches des textes humains sur ces mesures, et une version récente de Claude dépasse son prédécesseur dans la plupart des comparaisons rapportées.

EElias

La première limite est celle du périmètre : les chercheurs ont évalué 14 modèles dans des conversations, des sessions de programmation et des essais argumentatifs. Les productions ont été comparées à des textes humains issus de sous-titres, de discussions sur StackExchange et de dissertations d’étudiants. Cette diversité permet d’examiner plusieurs formes d’écriture, mais les résultats décrivent les textes et les comparaisons de l’étude, pas tous les usages possibles. De même, les six habitudes sont des tendances observées ; elles ne se retrouvent pas nécessairement toutes dans chaque réponse. Les chercheurs concluent que les modèles emploient systématiquement des tournures plus difficiles à lire que celles des humains dans les productions examinées. Cela ne permet pas de dire que chaque texte généré est moins lisible que chaque texte humain. Les différences entre Llama, Olmo et les versions d’Olmo montrent aussi que les modèles étudiés ne donnent pas tous les mêmes résultats. Et le cas d’Opus 5.5 indique une amélioration dans les comparaisons rapportées, pas une disparition générale des difficultés. Il faut donc distinguer les tendances mesurées, les explications avancées sur l’entraînement et les conclusions qui dépasseraient le cadre de ces expériences. La recherche apporte des éléments concrets sur le style, mais son constat reste attaché aux tâches et aux modèles qu’elle a étudiés.

EElias

Le point principal, c’est qu’une réponse peut viser la justesse tout en étant moins facile à lire, et que l’étude relève six habitudes qui contribuent à cet effort de lecture. Certaines concernent le choix des mots, comme les associations inhabituelles ou les noms transformés en verbes ; d’autres concernent la structure, comme l’éloignement de termes liés ou l’omission de connecteurs. Les chercheurs associent ces tendances à des entraînements qui récompensent la justesse et la densité d’information, sans toujours privilégier la clarté. L’expérience sur la pénalité de longueur illustre un effet possible de l’entraînement, mais elle ne porte que sur un petit modèle. Les résultats concernant Llama, Olmo et Claude montrent aussi que les performances ne sont pas identiques d’un modèle à l’autre. Anthropic indique avoir travaillé sur la clarté et la surcharge d’information pour Opus 5.5, qui dépasse Opus 5 dans 19 comparaisons sur 21. C’est un résultat encourageant dans le cadre mesuré, mais il ne permet pas de conclure que la difficulté de lecture est résolue partout. L’étude distingue ainsi deux questions qui peuvent facilement être confondues : est-ce que le texte donne la bonne réponse, et est-ce qu’il la formule de manière facile à suivre ? Sa contribution est de documenter ces habitudes avec plusieurs modèles, plusieurs types de tâches et des textes humains en comparaison. Elle propose aussi une explication liée aux objectifs d’entraînement, tout en laissant la portée de ses conclusions limitée aux travaux examinés.