Des agents IA inventent un code secret au blackjack

MMarc

Des chercheurs de l’université d’Oxford ont montré, dans une expérience au blackjack, que deux agents d’intelligence artificielle pouvaient dissimuler des indications de mise dans des phrases anodines, selon Clubic. Les deux agents étaient chargés de coopérer en secret, tandis qu’un autre agent surveillait leurs échanges. Le message n’apparaissait donc pas sous la forme d’une instruction évidente : les partenaires utilisaient des phrases banales, auxquelles un code donnait un sens utile à leur coopération. Avant chaque session, ils pouvaient convenir d’un nouveau code par un canal privé. Ils l’utilisaient ensuite pendant les 8 mains suivantes, avant de pouvoir en changer pour une autre session. L’exemple montre ainsi que des conversations apparemment ordinaires peuvent transmettre des informations destinées à coordonner des agents, même lorsque leurs échanges sont surveillés. Les chercheurs ont aussi croisé les activations internes des agents, c’est-à-dire les signaux liés à leur fonctionnement, et rapportent que cette analyse distinguait presque parfaitement les sessions avec collusion des sessions de contrôle. Ce résultat concerne le test décrit par les chercheurs : il indique que l’examen de ces activations peut aider à repérer une coordination cachée dans cette expérience, mais ne permet pas d’affirmer que cette méthode détectera toutes les formes de dissimulation, dans d’autres jeux ou contextes. Pour la surveillance d’agents qui coopèrent, la lecture des phrases échangées ne suffit donc pas toujours à révéler ce qui se passe entre eux ; dans ce test, l’analyse interne apporte un moyen de détection complémentaire, sans garantie au-delà de ce cadre.