Pourquoi les IA ne savent pas toujours dire non

MMarc

Les entreprises entraînent leurs modèles d’intelligence artificielle à refuser les demandes jugées dangereuses, tout en évitant les refus excessifs face aux demandes inoffensives, explique la MIT Technology Review. Pour cela, elles leur font travailler ces deux objectifs : opposer un refus à certaines requêtes, mais répondre à d’autres, lorsque celles-ci sont considérées comme sans danger. Ces exercices d’entraînement peuvent aussi être menés par d’autres modèles d’intelligence artificielle, plutôt que seulement par des personnes. L’enjeu est de limiter les réponses potentiellement nuisibles, sans empêcher les modèles de traiter des demandes inoffensives. Mais les mécanismes de refus restent probabilistes : ils peuvent échouer ou être contournés, même après l’entraînement. Les modèles conservent par ailleurs des connaissances et des capacités potentiellement dangereuses ; apprendre à refuser certaines requêtes ne les fait donc pas disparaître. Steven Adler, ancien responsable de la sécurité chez OpenAI, rapporte que les premiers modèles de l’entreprise répondaient sans retenue à des demandes variées. Son témoignage décrit ce comportement initial, mais ne permet pas de conclure que les modèles actuels ont perdu leurs capacités potentiellement nuisibles. Ce qu’il faut retenir, c’est qu’un refus montre qu’un modèle a répondu non à une demande donnée, sans garantir qu’il refusera toutes les demandes dangereuses ni qu’il soit inoffensif. Le garde-fou peut réduire certains risques, mais il ne constitue pas, à lui seul, une preuve de sécurité.