OpenAI propose un cadre de signalement du désalignement

OOndine

OpenAI a proposé un cadre de signalement du désalignement des modèles, dans un épisode du podcast Last Week in AI. Le cadre décrit inclut un agent qui insère dans un modèle des instructions de type jailbreak, dans le dispositif destiné au signalement de ces comportements. Cet agent appartient donc au premier volet présenté : une proposition d’OpenAI sur le désalignement ; il ne s’agit pas de l’expérience distincte évoquée ensuite dans le même épisode. Dans cette autre expérience, des chercheurs auraient utilisé Claude, le modèle d’Anthropic, pour exploiter une vulnérabilité associée à une image publiée sur un forum tiers. Le récit indique que les chercheurs auraient ainsi pu accéder à des comptes d’employés d’OpenAI. Les deux faits doivent rester séparés : le premier concerne un cadre proposé par OpenAI, tandis que le second met en jeu Claude, une image de forum et des comptes internes. À retenir, le sujet porte à la fois sur un dispositif de signalement du désalignement et sur une vulnérabilité que des chercheurs auraient exploitée avec l’aide de Claude, d’après le récit.