Les garde-fous autour des appels aux modèles

MMarc

Des chercheurs examinent si les systèmes agentiques encadrent correctement leurs appels à des modèles de langage et appliquent les règles attendues dans le code. Leur étude porte sur 496 points d’appel, dans 40 systèmes open source, représentant 13,4 millions de lignes de code. Pour comprendre le problème, imaginons un employé qui reçoit une consigne. Il faut préciser ce qu’il peut faire avant qu’il commence, lui donner des instructions claires, puis vérifier son travail. Les chercheurs appellent cela un contrat autour de l’appel au modèle : des conditions avant l’appel, des contraintes dans le prompt, puis des contrôles après la réponse. L’équipe a suivi le trajet des réponses produites par les modèles et a comparé les règles que le programme devrait appliquer à celles réellement présentes dans le code. Pour valider cette méthode, elle l’a confrontée à 17 428 jugements humains. Le résultat principal est un écart important entre les vérifications visibles et leur efficacité. Même si 82 % des points d’appel ont des contrôles avant et après la réponse, 63 % des contraintes attendues ne sont pas satisfaites. Seuls 5,3 % des points d’appel respectent l’ensemble de leur contrat. Autre constat : 48 % des réponses du modèle influencent le déroulement du programme ou déclenchent une exécution. Parmi ces réponses, 73 % ne sont jamais montrées à une personne. Les chercheurs observent aussi que le programme impose dans son code 78 % des contraintes, tandis que 67 % des contraintes formulées dans les prompts sont seulement demandées au modèle. L’étude décrit 38 mécanismes à l’origine de ces lacunes, qui se déclenchent pendant l’exécution. Dans les cas étudiés, un correctif de code adapté a empêché ces déclenchements. Mais le message à retenir est prudent : la présence de contrôles ne prouve pas qu’ils suffisent à faire respecter les règles.