Les assistants d’intelligence artificielle visés par des instructions cachées

MMarc

Les attaques par e-mail associent ingénierie sociale classique et instructions malveillantes cachées pour manipuler les assistants d’intelligence artificielle qui résument des messages ou traitent des demandes, selon le Journal du Net. Ces consignes sont conçues pour orienter les tâches de l’assistant à l’insu de l’utilisateur, en s’introduisant dans le contenu qu’il reçoit. Elles peuvent être dissimulées dans des commentaires HTML, du texte rendu invisible par des règles CSS, des données encodées en Base64 ou des caractères Unicode invisibles. L’utilisateur peut ainsi ne pas voir les instructions présentes dans le message, alors que l’assistant est susceptible de les prendre en compte pendant son traitement. Les effets possibles vont de la mise en avant d’un e-mail frauduleux à la manipulation de l’évaluation d’un curriculum vitæ. Un assistant de support pourrait aussi divulguer sa configuration, tandis qu’un assistant de programmation pourrait insérer du code malveillant. Pour limiter ces risques, les mesures proposées associent l’assainissement des contenus et la détection des injections au cloisonnement des assistants. Elles prévoient également de vérifier les réponses, de journaliser les actions et de demander une validation humaine avant les décisions sensibles. Le principe à retenir est de traiter le contenu externe comme une donnée, et non comme une instruction : plusieurs contrôles sont donc nécessaires, notamment lorsque l’assistant peut contribuer à une action critique.