FAB, un benchmark pour les agents d’intelligence artificielle

MMarc

Une équipe composée d’anciens employés d’EY a créé FAB, un benchmark public qui évalue les agents d’intelligence artificielle sur des tâches de due diligence financière, selon GitHub. FAB, pour Finance Agents Benchmark, propose donc un cadre d’évaluation consacré à l’usage de ces agents dans ce domaine précis. Le projet porte sur des tâches financières et cherche à mesurer leurs capacités dans un exercice de due diligence, plutôt qu’à présenter un outil destiné à réaliser cette analyse pour ses utilisateurs. Selon l’équipe, les agents savent repérer les faits pertinents dans les informations examinées, mais peinent encore à les assembler en une analyse complète et fiable. Le résultat décrit une différence entre deux étapes : trouver des éléments utiles et les réunir ensuite dans une analyse qui soit à la fois complète et fiable. Le benchmark vise à évaluer les agents sur des tâches de due diligence financière ; les difficultés relevées par l’équipe concernent justement le passage du repérage des faits à leur mise en cohérence dans une analyse. L’équipe prévoit d’étendre FAB progressivement à davantage d’entreprises et de modèles. Cette extension ne se fera pas d’un seul coup : l’équipe indique que la création et l’exploitation du benchmark coûtent cher. Pour l’instant, le projet est donc appelé à grandir par étapes, avec un périmètre plus large au fil du temps. L’objectif demeure de tester les agents sur ce type de travail financier, tout en tenant compte de la limite signalée par l’équipe : repérer des faits pertinents ne garantit pas encore une analyse complète et fiable.