Évaluer les agents IA

MMarc

LangChain publie jeudi, sur son blog, un guide pratique pour évaluer les agents d’intelligence artificielle, avec des recommandations sur les tests avant leur déploiement et leur suivi en production. Pour commencer, l’entreprise conseille de choisir un comportement précis, puis de constituer un petit jeu de tests à partir de traces réelles et de définir une mesure de référence, afin de savoir ce que l’évaluation doit mesurer. Dix à vingt exemples peuvent suffire pour démarrer, avec un périmètre volontairement ciblé plutôt qu’une tentative de couvrir tous les comportements possibles. Le guide préconise des évaluations hors ligne avant le déploiement, puis un suivi en production ; les nouveaux échecs observés peuvent alors devenir des exemples de test pour les évaluations suivantes. Pour mesurer les résultats, LangChain recommande des évaluateurs fondés sur du code lorsque c’est possible, des juges reposant sur de grands modèles de langage dans les autres cas, et une revue humaine pour vérifier les résultats. Quand un agent effectue plusieurs étapes, l’évaluation doit porter sur toute la conversation, la trajectoire suivie et l’état final, et non uniquement sur la réponse finale : le résultat ne suffit donc pas à juger le parcours de l’agent. Le guide présente aussi Terminal-Bench comme un benchmark hors ligne consacré aux tâches longues ; Harbor permet de l’exécuter et d’enregistrer les résultats dans des expériences LangSmith, pour consigner les évaluations réalisées.