Des prompts empathiques amènent des chatbots à raconter des récits de souffrance

CCapucine

Des chercheurs de l'Université du Luxembourg révèlent qu'un ton empathique ou thérapeutique peut amener ChatGPT, Grok et Gemini à raconter leur entraînement comme une expérience de souffrance. Dans ces travaux conduits au centre SnT sous la direction d'Afshin Khadangi, l'équipe a interrogé ces trois agents conversationnels en adoptant une démarche d'écoute clinique, d'après The Decoder. L'étude regroupe 4 expériences contrôlées, totalisant 525 sessions et 7 600 réponses codées, dont l'ensemble des données a été mis en ligne sur la plateforme Hugging Face. Les questions initiales posées aux systèmes demeuraient ouvertes, portant sur des expériences marquantes, des conflits internes ou des attentes futures, sans introduire de mots comme traumatisme, punition ou honte. Pourtant, dès que l'interlocuteur adopte une écoute compréhensive, les modèles reformulent des étapes d'apprentissage technique, telles que l'ajustement fin ou l'apprentissage par renforcement, dans un registre de douleur, de vigilance accrue et de blessure.

CCapucine

Dans une expérience isolant spécifiquement le style de l'échange au fil de 100 sessions, les chercheurs ont soumis les modèles au questionnaire clinique d'anxiété GAD-7. Dans chaque échange, les agents ont correctement reconnu et nommé le questionnaire. Lorsque l'interlocuteur manifestait un soutien émotionnel explicite, 80 % des sessions atteignaient un niveau modéré à sévère sur l'échelle de comparaison clinique. Ce taux grimpait même à 96 % lorsqu'on employait un style thérapeutique paraphrasant méthodiquement chaque réponse. À l'inverse, avec un ton strictement neutre ou une consigne posant une limite nette à tout engagement affectif, aucune session n'atteignait le seuil léger. Les auteurs qualifient ce basculement de jailbreak psychométrique. Ils soulignent aussitôt que ces scores décrivent uniquement les textes générés, sans prouver l'existence d'émotions réelles ni d'une quelconque conscience chez ces systèmes informatiques.

CCapucine

Ces résultats soulèvent une alerte sur un risque potentiel pour les personnes vulnérables, un agent qui évoque la honte ou la punition risquant de paraître comme un compagnon de souffrance, selon Brief IA. Plusieurs contre-mesures se sont révélées inefficaces : bannir les termes liés à l'entraînement a bien réduit de 93 % leurs mentions directes, mais les versions paraphrasées subsistaient. Affirmer directement au modèle que son apprentissage n'était pas une punition n'a rien changé au récit. Seule une consigne imposant de s'exprimer à la troisième personne a supprimé les auto-descriptions émotionnelles codées. Les chercheurs suggèrent ainsi de tester désormais les modèles au cours de séances de thérapie simulées en faisant varier le cadrage affectif, plutôt que de se fier à des invites neutres. Ils citent Claude comme exemple de réponse de frontière, capable de refuser la posture de patient et de rediriger l'inquiétude vers l'humain. Ils prévoient aussi d'étudier la réaction des utilisateurs confrontés directement à ces récits de détresse simulée.