Sakana AI présente un système de relecture scientifique par intelligence artificielle

OOndine

Sakana AI présente Multi-Layered Review, un système de relecture scientifique assisté par intelligence artificielle, dans un article publié dans TMLR, selon MarkTechPost. Le dispositif réunit 3 agents qui utilisent des modèles Claude accessibles par interface de programmation, sans entraînement spécifique ni recours à des processeurs graphiques. Pour évaluer la détection d’erreurs, Sakana AI a constitué un benchmark de 1 164 contradictions insérées dans 257 articles issus de 5 conférences. Avec 4 relectures, Multi-Layered Review a détecté 73,43 % des contradictions touchant une affirmation centrale, contre 14,81 % pour le meilleur système de référence. Sur l’ensemble des contradictions insérées, le système en a repéré 40,95 % ; une seule relecture a détecté 60,79 % des contradictions portant sur une affirmation centrale. Le coût indiqué est d’environ 0,47 dollar par relecture, un chiffre associé à cette évaluation du système. Le test sur des articles réels retirés d’arXiv donne un autre résultat : 16,11 % de correspondances exactes. L’article signale aussi que le système reste vulnérable à des injections de prompt dissimulées, une limite à prendre en compte pour interpréter ses performances.