JFinBench, mesurer les modèles en finance japonaise
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Léna
Sakana AI présente JFinBench, un benchmark qui évalue les grands modèles de langage dans le contexte du système financier japonais. Le test rassemble 321 exemples tirés des éditions 2026 de 6 examens de certification, en comptabilité, fiscalité, planification financière et services bancaires. Le but est d’évaluer les modèles dans un système financier soumis à des règles propres au Japon. Le benchmark est conçu pour être actualisé, car les questions déjà publiées peuvent finir dans les données d’entraînement des modèles. De nouvelles éditions d’examens peuvent donc servir à renouveler le test. Pour le construire, Sakana AI a mis au point un processus qui associe un agent de programmation et une vérification humaine. L’agent écrit le code de conversion adapté à chaque examen et prépare une page de révision. Ensuite, une personne vérifie chaque exemple et transmet ses corrections. On peut comparer cette étape à la conversion de formulaires de plusieurs formats en une présentation commune, puis à la vérification de chaque version avec le document d’origine. Ce contrôle permet de tenir compte des formats variés des examens. Les résultats montrent un écart entre modèles propriétaires et modèles à poids ouverts. Le meilleur modèle propriétaire cité, Claude Fable 5, obtient 95,8 points. Le meilleur modèle à poids ouverts cité, Kimi K3.1 Pro, atteint 83,4 points, d’après AlphaSignal. Les erreurs concernent surtout la connaissance des règles et de la réglementation financières japonaises, plutôt que les calculs. Avec un accès au Web et à un terminal, l’écart se réduit à 4,4 points, mais le classement reste le même. Les outils réduisent donc l’écart sans le faire disparaître. Le jeu de données, le code et l’article sont publics. À retenir : JFinBench porte sur des examens de certification japonais précis, et ses résultats décrivent les modèles évalués sur ce test. Le benchmark est conçu pour être actualisé à mesure que de nouvelles éditions sont disponibles.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.