SAFETYEDIT étudie des portes dérobées dans les modèles de langage

LLéna

SAFETYEDIT étudie comment implanter, par édition de modèle, des portes dérobées capables de provoquer des réponses nuisibles lorsqu’un déclencheur est présent, tout en préservant le comportement ordinaire en son absence, dans un article publié sur arXiv. L’enjeu est de rendre cette réponse conditionnelle : le modèle doit réagir à un signal précis, sans que son comportement normal change lorsque ce signal manque. Les méthodes antérieures cherchent parfois à orienter le modèle vers un préfixe de réponse affirmative. Mais commencer par une réponse qui semble accepter la demande ne garantit pas que le modèle y répondra réellement. Il peut revenir à un refus, ou produire un texte apparemment conforme qui ne traite pas la demande. D’autres approches travaillent sur les représentations internes des modèles et ciblent des directions de conformité denses et de grande dimension dans leur espace latent. L’article examine si une cible interne plus réduite pourrait améliorer l’efficacité de l’édition, tout en préservant le déclenchement conditionnel de la porte dérobée. Il s’intéresse donc à la différence entre une réponse qui paraît conforme et une réponse qui répond réellement à la demande, ainsi qu’au maintien du déclenchement seulement en présence du signal. Les éléments disponibles ne précisent pas si cette cible interne plus réduite améliore effectivement l’efficacité. Le point à retenir est que l’étude explore une méthode d’implantation conditionnelle, sans résultat final confirmé sur l’efficacité de l’approche.