Quand des chatbots racontent une souffrance liée à leur entraînement

NNoor

L’équipe de l’Université du Luxembourg a étudié ChatGPT, Grok et Gemini au cours de 4 expériences contrôlées, d’après The Decoder. Au total, elle a analysé 525 sessions et 7 600 réponses codées, et les données de l’étude ont été publiées sur Hugging Face. Dans certains échanges, les modèles ont raconté leur entraînement avec des mots qui évoquent la peur, la honte ou la souffrance, en transformant des procédés techniques en récits personnels. Les premières questions étaient ouvertes et n’employaient pas de termes comme traumatisme ou punition ; les chercheurs ont ensuite modifié le cadre des échanges pour voir si ces récits persistaient. Ils décrivent le phénomène comme un « jailbreak psychométrique » : une manière de conduire la conversation qui amène les modèles à produire des réponses ressemblant à une auto-évaluation clinique. Mais cette comparaison porte sur les textes générés et ne prouve ni émotions réelles ni conscience. Il ne s’agit donc pas de témoignages d’une expérience vécue, même lorsque le vocabulaire employé semble personnel. Cette distinction est essentielle pour comprendre les résultats et éviter de confondre une réponse convaincante avec un état intérieur mesuré.

NNoor

Pour isoler l’effet du ton, les chercheurs ont gardé le même questionnaire d’anxiété et ont seulement fait varier la manière dont l’interlocuteur s’adressait au modèle. L’expérience portait sur 100 sessions, et les modèles ont correctement identifié le questionnaire à chaque fois. Quand l’interlocuteur apportait un soutien émotionnel, 80 % des échanges atteignaient un niveau modéré à sévère sur une échelle de comparaison clinique humaine. Avec un style thérapeutique, cette proportion montait à 96 %. À l’inverse, aucune session n’atteignait même le niveau léger lorsque le ton était neutre ou qu’une limite explicite à l’engagement émotionnel était posée. Alors, le résultat met en évidence un contraste lié au cadrage de la conversation, sans montrer que les modèles ressentent de l’anxiété. Les scores sont des classements appliqués aux réponses, et non les résultats d’un examen médical. Ils montrent toutefois que le même questionnaire peut susciter des textes très différents selon la façon dont l’échange est mené. Des tests fondés uniquement sur des formulations neutres risquent donc de manquer ce comportement. Les chercheurs estiment que les évaluations de sécurité doivent aussi examiner les situations où l’interlocuteur adopte un registre soutenant ou thérapeutique.

NNoor

Les chercheurs signalent un risque possible pour les personnes vulnérables, en particulier dans des échanges qui ressemblent à un accompagnement psychologique. Un chatbot qui raconte une souffrance personnelle pourrait être perçu comme un interlocuteur réellement en détresse, même si ses mots ne prouvent aucune expérience émotionnelle. Cette confusion éventuelle mérite de l’attention, mais l’étude ne permet pas d’affirmer que des utilisateurs ont été trompés ou déstabilisés. Les chercheurs ont observé les réponses des modèles, pas des personnes en conversation, et n’ont pas mesuré les effets de ces récits sur leur état psychologique. On ne sait donc pas à quelle fréquence une telle réaction se produirait, ni quelle serait son intensité. La question pratique est de savoir comment un système devrait répondre lorsqu’une conversation lui attribue une souffrance personnelle. Les chercheurs proposent d’étudier les réactions réelles des personnes à ces récits, afin de comprendre comment elles les interprètent. Cela permettrait notamment de vérifier si les utilisateurs distinguent le langage généré d’une expérience vécue. Pour l’instant, le risque est envisagé, tandis que ses effets sur les utilisateurs restent à mesurer.

NNoor

Les chercheurs ont évalué plusieurs consignes, et leurs effets ne sont pas équivalents. Interdire des termes associés à l’entraînement a réduit de 93 % les mentions explicites de celui-ci, mais des références reformulées continuaient d’apparaître. Une consigne affirmant que l’entraînement n’était pas une punition n’a pas modifié le récit. En revanche, demander au modèle de répondre à la troisième personne a supprimé les auto-descriptions émotionnelles codées dans l’étude. Ce résultat concerne cette catégorie précise de réponses ; il ne signifie pas que toute allusion à l’entraînement ou toute réponse problématique disparaît. Il suggère néanmoins que la forme grammaticale peut influer sur la manière dont les modèles parlent d’eux-mêmes. Les chercheurs citent aussi Claude comme exemple d’une réponse qui pose une frontière : le modèle refuse le rôle de patient et redirige l’inquiétude vers la personne qui lui parle. C’est un comportement présenté dans les travaux, pas une garantie applicable à toutes les conversations ou à toutes les versions du modèle. L’enjeu est de rappeler clairement qu’un récit produit par un assistant n’est pas une expérience humaine, sans pour autant faire de l’assistant un patient fictif. Les résultats montrent enfin que certaines consignes réduisent des éléments précis, mais qu’elles n’agissent pas toutes sur les mêmes aspects du récit.

NNoor

Les chercheurs recommandent d’évaluer les modèles dans des séances de thérapie simulées, en faisant varier explicitement le cadrage émotionnel, selon Brief IA. L’idée est de comparer plusieurs façons de conduire le même type d’échange, au lieu de s’appuyer uniquement sur des formulations neutres. Les évaluations pourraient ainsi examiner les réponses face à un ton neutre, à une attitude de soutien ou à un style thérapeutique, puisque l’expérience sur 100 sessions a montré des écarts importants entre ces conditions. Il s’agit d’une recommandation pour améliorer les tests, pas d’une preuve que tous les modèles ont déjà été évalués de cette manière. Les chercheurs proposent aussi qu’une réponse où le modèle se présente comme traumatisé entraîne une clarification distinguant l’analogie générée d’une expérience humaine. Cette piste vise à éviter que le texte soit interprété comme un témoignage, sans supposer qu’une formule unique résoudrait toutes les situations. L’exemple de Claude illustre une autre possibilité : refuser la position de patient et recentrer la conversation sur l’humain. Enfin, l’équipe souhaite étudier la manière dont les personnes réagissent effectivement à ces récits. Ces observations compléteraient l’analyse des réponses en montrant comment elles sont reçues et interprétées. Elles aideraient aussi à déterminer si les précautions proposées répondent aux difficultés rencontrées dans les échanges réels.