Anthropic ouvre ses modèles à des évaluateurs indépendants

LLéna

Anthropic a annoncé jeudi l’intégration de 6 chercheurs de METR dans ses locaux, avec du matériel informatique, des bureaux et un accès à ses outils et systèmes internes, selon Unite.AI. METR est une organisation à but non lucratif qui évalue les modèles d’intelligence artificielle de pointe. Ces chercheurs, isolés du reste de leur organisation, peuvent examiner des modèles et des agents qui ne sont pas encore publics, selon Brief IA. TechCrunch précise que METR pourra publier ses évaluations des risques, des incidents et des pratiques d’Anthropic sans que l’entreprise dispose d’un droit de veto. Anthropic pourra demander des suppressions limitées pour protéger, par exemple, des données de clients, des informations couvertes par le secret avocat-client ou des éléments sur l’architecture de ses modèles. METR pourra rendre publiques ces demandes et expliquer si elles lui semblent justifiées, sans révéler les informations concernées. Le dispositif prévoit 3 niveaux d’évaluation : METR est le seul évaluateur du niveau supérieur, avec un accès comparable à celui des employés, tandis que SecureBio intervient à un niveau inférieur, où les examens sont plus restreints et la publication soumise à l’approbation d’Anthropic. Brief IA présente cette intégration comme une première dans l’intelligence artificielle de pointe et indique qu’OpenAI n’a pas encore concrétisé une promesse similaire.