Évaluer les agents avec des modèles de décision

OOndine

Hamel's Blog compare 6 modèles de décision pour repérer les erreurs dans les conversations d’un agent de location immobilière. L’évaluation s’appuie sur 100 traces annotées par des humains, qui indiquent si l’agent a réussi ou échoué. Les modèles testés sont Jev 1.13, Perplexity Decider 1.1 27B, Liquid d1 et d1-ultra, Cloudflare Clef Flash, ainsi qu’OpenAI Decisions, associé à GPT-6 Luna. Pour chaque trace, les prédictions sont confrontées aux étiquettes de réussite ou d’échec établies par les annotateurs. L’article compare aussi le coût des modèles, calculé à partir du nombre de jetons utilisés et des tarifs de leurs fournisseurs. Chaque modèle attribue un score de probabilité d’échec entre 0 et 1. Le seuil de 0,50, souvent appliqué par défaut, peut être inadapté aux données évaluées. Le modifier permet de chercher un équilibre entre repérer davantage d’erreurs et déclencher moins de fausses alertes. L’article présente ces modèles comme une alternative potentiellement moins coûteuse aux juges fondés sur de grands modèles de langage, pour automatiser les évaluations. Mais le choix dépend des exigences de chaque usage : réduire la dépense, obtenir de meilleures performances ou limiter le temps de réponse. L’article souligne ainsi que le seuil doit être ajusté aux données et au compromis recherché entre détection des erreurs et fausses alertes.