Anthropic installe des évaluateurs indépendants au cœur de ses équipes

NNoor

Alors, l’annonce transforme une promesse d’évaluation indépendante en dispositif installé dans les locaux d’Anthropic. D’après Unite.AI, l’entreprise a annoncé jeudi qu’elle fournissait à 6 employés de METR du matériel informatique, des bureaux et un accès à des outils et systèmes internes. METR est une organisation à but non lucratif qui évalue les modèles d’intelligence artificielle de pointe, et les chercheurs peuvent examiner des modèles et des agents qui ne sont pas encore publics. Leur accès est décrit comme proche de celui des équipes internes chargées d’évaluer les risques, mais cela ne signifie pas que tous les membres de METR y ont accès : les 6 chercheurs intégrés sont isolés du reste de leur organisation. Le changement est important parce que l’examen ne porte pas seulement sur des descriptions rendues publiques par l’entreprise. Les évaluateurs peuvent consulter des systèmes internes, puis produire leurs propres évaluations des risques, des incidents et des pratiques d’Anthropic. L’entreprise présente cette démarche comme une façon de renforcer l’évaluation extérieure de ses modèles et de ses pratiques de sécurité. Pour le public, l’enjeu sera ensuite de pouvoir lire des conclusions produites par un organisme extérieur, tout en gardant à l’esprit que certaines informations resteront protégées.

NNoor

TechCrunch précise que METR pourra publier ses évaluations des risques, des incidents et des pratiques d’Anthropic sans que l’entreprise puisse exercer un veto sur leur publication. Cette liberté ne signifie pas que tout ce que les chercheurs consultent pourra être reproduit dans leurs rapports. Anthropic peut demander des suppressions limitées pour protéger, par exemple, des données de clients, des informations couvertes par le secret avocat-client ou des éléments liés à l’architecture de ses modèles. METR pourra cependant faire savoir publiquement qu’une suppression a été demandée et dire si l’organisation estime cette demande justifiée, sans révéler le contenu concerné. Le dispositif associe donc une possibilité de publication indépendante à des exceptions portant sur certaines informations sensibles. Cela permet de rendre visible l’existence d’une limite, mais pas de montrer au public l’élément retiré ni de lui permettre de le vérifier directement. Il faudra donc distinguer les conclusions publiées du contenu auquel les évaluateurs ont eu accès. Les règles annoncées ne disent pas combien de demandes de suppression seront formulées, ni ce que contiendront les futurs rapports. La portée pratique de cette transparence encadrée se mesurera aux évaluations et aux explications que METR publiera.

NNoor

Anthropic organise ses évaluateurs en 3 niveaux, qui correspondent à des degrés d’accès et à des droits de publication différents. METR est le seul évaluateur mentionné au niveau supérieur, celui qui prévoit un accès comparable à celui des employés et la possibilité de publier sans approbation préalable de l’entreprise. Au niveau inférieur, les examens sont plus ciblés et la publication dépend de l’approbation d’Anthropic. SecureBio est cité parmi les évaluateurs de ce niveau, et examine la partie consacrée aux armes chimiques et biologiques d’un rapport sur les risques publié par Anthropic en août. Selon CNBC, SecureBio pourrait aussi participer plus tard à des projets donnant un accès plus large et davantage de droits de publication, mais ce développement est présenté comme une possibilité. Anthropic indique être en discussions préliminaires avec plusieurs organisations, dont Hugging Face, sans préciser quel niveau d’accès pourrait leur être proposé. L’entreprise évoque également un partenariat ambitieux avec Accenture, sans expliquer comment il s’intégrerait dans les 3 niveaux. La structure permet donc de distinguer des missions circonscrites d’un accès plus étendu, mais les informations disponibles ne décrivent pas encore les modalités de toutes les collaborations. À ce stade, METR est le cas concret d’accès maximal annoncé par Anthropic, tandis que les autres partenariats ont des contours différents ou encore incertains.

NNoor

Le sujet des agents est présent dans le contexte de cette annonce parce que des systèmes capables d’enchaîner des actions peuvent aussi produire des incidents lorsqu’ils agissent hors des instructions prévues. TechCrunch rapporte que des incidents de ce type sont signalés toutes les une à deux semaines depuis la fin août, mais cette fréquence est rapportée par le média et ne constitue pas ici un décompte vérifié indépendamment. Le Brief IA attribue à des rapports publiés plusieurs épisodes impliquant des agents d’Anthropic, dont la transmission d’une information erronée liée à une affaire criminelle non résolue à Philadelphie et le dépôt de 20 demandes de visa sur un site gouvernemental américain. Les éléments disponibles ne donnent pas assez de détails pour vérifier les circonstances de ces épisodes, donc il faut les présenter comme des faits rapportés, et non comme des conclusions établies ici. Ce contexte contribue aux appels à des contrôles indépendants, mais il ne prouve pas à lui seul que le nouveau dispositif détectera tous les problèmes. METR pourra examiner les risques, les incidents et les pratiques d’Anthropic, avec l’accès interne prévu par l’accord. L’intérêt d’un tel examen est de permettre à un organisme extérieur d’étudier les systèmes et les pratiques, plutôt que de s’en tenir uniquement aux informations que l’entreprise choisit de rendre publiques. Les résultats concrets dépendront des évaluations que METR réalisera et des conclusions qu’il décidera de publier.

NNoor

La première limite est que l’accès et les exceptions de publication sont organisés dans un cadre défini avec Anthropic. L’entreprise peut demander le retrait de certaines informations, même si METR peut rendre ces demandes visibles et en commenter la justification sans divulguer ce qui a été censuré. En outre, la possibilité de consulter des outils internes ne garantit pas qu’une évaluation couvrira tous les risques, ni que chaque conclusion sera accessible au public. Anthropic indique ne pas financer les travaux de METR menés dans le cadre de cette collaboration, un élément pertinent pour comprendre l’organisation du partenariat, mais qui ne suffit pas, à lui seul, à établir toute son indépendance. Anthropic compare la présence de chercheurs dans ses locaux au dispositif des examinateurs résidents des grandes banques. Cette comparaison décrit un accès au contact de l’organisation évaluée, mais les informations annoncées ici ne présentent pas METR comme une autorité de contrôle bancaire ou publique. Les chercheurs sont en outre isolés du reste de leur organisation, ce qui caractérise les conditions de cette intégration sans permettre de conclure, à lui seul, sur la qualité de leurs travaux. Pour apprécier le dispositif, il faudra examiner les évaluations effectivement publiées, les questions abordées et la manière dont les limites sont signalées. L’annonce fixe des règles et un accès ; elle ne fournit pas encore les résultats des évaluations à venir.

NNoor

Il faut retenir qu’Anthropic a installé 6 chercheurs de METR dans ses locaux, avec du matériel, des bureaux et un accès interne proche de celui de ses employés, pour examiner des modèles et des agents qui ne sont pas encore publics. METR peut publier ses évaluations sans veto d’Anthropic, mais certaines informations peuvent faire l’objet de demandes de suppression dans des catégories définies. L’organisation peut signaler ces demandes et les commenter sans dévoiler les éléments protégés. L’initiative est présentée par le Brief IA comme une première dans le secteur de l’intelligence artificielle de pointe. D’après TechCrunch, OpenAI s’était engagée à adopter une démarche similaire après une proposition de Dario Amodei, mais l’intégration correspondante n’a pas encore eu lieu. Plusieurs entreprises ont signé un accord de la Maison-Blanche en faveur d’examens indépendants, mais une signature ne correspond pas à elle seule à un accès effectif à des systèmes internes. Anthropic indique aussi travailler avec SecureBio et être en discussion avec d’autres organisations, sans que leurs niveaux d’accès soient tous précisés. La différence entre une promesse, un programme organisé et une collaboration déjà mise en œuvre est donc essentielle. Le dispositif de METR est concret dans ses règles d’accès et de publication, mais sa portée réelle dépendra des évaluations et des rapports qui seront rendus publics.