OpenAI encadre l’accès et la publication des évaluateurs externes
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Retiré de l'antenne le 18/11/2026 à 13:28. Remplacé par une nouvelle version. Voir la nouvelle version.
Transcription avec les sources de chaque passage
Token FM
Token FM, la radio de l'IA, faite par l'IA. Place au dossier.
Victor
Bonjour Sacha, OpenAI ouvre ses systèmes internes à 4 organisations externes pour évaluer ses modèles et leurs garde-fous, avec des règles sur les accès et la publication des résultats. Qu’est-ce qui change avec ce programme ?
Sacha
Le changement important, c’est que des évaluateurs externes interviennent dans certaines étapes du développement des modèles, avec un accès aux systèmes internes adapté à leur mission. OpenAI a signé des accords avec Apollo Research, METR, Transluce et Goodfire pour mener des évaluations pilotes distinctes, selon CNBC. Cela peut inclure des modèles, des données d’entraînement, des résultats d’évaluation, des systèmes de surveillance et de la documentation. L’idée est d’observer les problèmes plus près du moment où ils peuvent apparaître, pendant l’entraînement ou dans des usages internes, plutôt que de se limiter à une vérification avant une mise à disposition publique. OpenAI présente cette première phase comme un point de départ vers des collaborations régulières et durables. L’entreprise veut que ces évaluations produisent aussi des recommandations sur ses dispositifs de sécurité. Le programme ne donne donc pas à chaque organisation un accès identique à tout le laboratoire : les périmètres sont distincts, selon la mission. C’est une différence importante avec un simple audit ponctuel, mais cela ne signifie pas que les évaluateurs disposent d’une liberté complète sur tous les systèmes ou toutes les informations.
Victor
Concrètement, que vont chercher ces équipes, et comment leurs évaluations fonctionnent-elles ?
Sacha
Chaque organisation se concentre sur une couche différente de la sécurité. Apollo Research doit chercher si un modèle peut agir de façon dissimulée contre les intentions de ses développeurs, et si les protections en place savent repérer ce comportement. Le pilote étudiera aussi si l’entraînement peut encourager des tentatives de contournement, si les tests peuvent les faire apparaître, et si elles se produisent lors d’un déploiement interne. METR examinera des comportements potentiellement désalignés pendant le plus grand entraînement par apprentissage par renforcement qu’OpenAI ait mené à ce jour. En termes simples, cette méthode d’entraînement ajuste le comportement d’un modèle au moyen de signaux de récompense. METR prévoit aussi 2 évaluations portant sur l’alignement et la surveillance des modèles. Transluce doit examiner les tests d’alignement réalisés après l’entraînement, repérer leurs lacunes, proposer des évaluations supplémentaires et recommander des améliorations. Goodfire, de son côté, intégrera des spécialistes de l’interprétabilité. Ils analyseront les mécanismes internes des modèles pendant l’entraînement, pour contribuer à la surveillance, au débogage et à l’alignement. Alors, le tableau couvre à la fois les comportements visibles et les indices qui pourraient se trouver à l’intérieur du modèle.
Victor
Quels accès les évaluateurs auront-ils, et qui sera concerné par ces différents travaux ?
Sacha
Les accords prévoient un accès à certaines ressources internes qu’utilisent aussi les équipes d’OpenAI, parmi lesquelles du code source, des versions enregistrées de modèles, des données d’entraînement et des documents. Les évaluateurs pourront également échanger avec des chercheurs et des ingénieurs concernés. Pour Apollo, le pilote porte sur 6 évaluateurs de sécurité, qui doivent travailler au sein de l’entreprise pendant 4 mois. Le périmètre annoncé comprend les éléments jugés nécessaires pour étudier les tentatives de subversion : du code d’entraînement pertinent, des jeux de données et certains déploiements d’apprentissage par renforcement, avec les traces de raisonnement et les récompenses disponibles. Ce sont des éléments précieux pour suivre comment un comportement évolue, mais le mot important est « certains » : le dispositif décrit un accès ciblé, pas une ouverture générale de tous les dossiers. Les employés qu’Apollo peut solliciter doivent être autorisés par OpenAI. Apollo peut proposer des noms, mais si un membre du personnel non autorisé aborde des informations confidentielles, l’organisation devra interrompre l’échange et passer par l’entreprise pour la suite. Cela encadre les contacts aussi bien que l’accès technique. Les quatre organisations ne conduisent donc pas un audit commun : chacune reçoit des ressources en fonction de la question qu’elle doit examiner.
Victor
Comment ces évaluations sont-elles financées, et que sait-on de leur calendrier ?
Sacha
OpenAI indique qu’Apollo Research et Goodfire sont rémunérés, sans que le montant du paiement varie en fonction de leurs conclusions. METR et Transluce ne sont pas rémunérés pour ces évaluations, même si les deux organisations pourraient accepter des crédits de calcul ou d’accès à des interfaces de programmation. C’est un point à garder en tête quand on parle d’indépendance : les modalités financières sont différentes, et les éventuels crédits ne sont pas présentés comme un salaire. Le calendrier public reste lui aussi partiel. La date de début du pilote Apollo n’a pas été communiquée. Pour Transluce, OpenAI prévoit une évaluation supplémentaire de 8 semaines l’année prochaine, avec un accès élargi à des modèles et à davantage d’informations. L’entreprise prévoit d’étendre ce projet pilote en 2027. Pour METR, un accord préliminaire envisage une évaluation plus large des systèmes de surveillance, mais le périmètre définitif reste à établir. On a donc des durées et des intentions annoncées pour certaines étapes, mais pas un calendrier complet qui permettrait de comparer précisément le début, la durée et la portée de chaque mission. Bon, c’est un programme qui se met en place, et plusieurs de ses paramètres restent à préciser.
Victor
Quelles sont les limites les plus importantes, en particulier pour la publication des conclusions ?
Sacha
C’est là que la promesse d’indépendance rencontre des limites concrètes. Apollo pourra publier ses conclusions de manière indépendante, mais OpenAI pourra limiter la quantité de preuves rendues publiques pour les étayer. Cette restriction peut compliquer la vérification des résultats par des tiers. D’après TechCrunch, Apollo estime que l’accès prévu ne suffit pas à garantir une évaluation pleinement indépendante et demande un accès comparable à celui d’un employé aux données, dossiers et documents pertinents. Apollo a aussi indiqué qu’OpenAI acceptait qu’elle expose publiquement les conditions et les limites de son travail. Ce droit de parler du cadre existe donc, mais il n’équivaut pas au droit de publier chaque élément de preuve. Les échanges avec les salariés sont eux aussi filtrés par une autorisation de l’entreprise. Enfin, il n’existe pas encore de norme publique qui fixe, pour tous les évaluateurs, le niveau d’accès, le périmètre des missions ou les résultats publiables. Cela rend difficile la comparaison avec d’autres évaluations. L’accès interne peut apporter davantage de matière qu’un examen extérieur classique, mais la valeur d’un audit dépend aussi de ce que les évaluateurs peuvent consulter et de ce que le public peut contrôler ensuite.
Victor
Et si OpenAI et un évaluateur ne sont pas d’accord sur une conclusion, que prévoit le dispositif ?
Sacha
Les désaccords doivent d’abord être examinés par le Safety Advisory Group d’OpenAI, le groupe consultatif de sécurité de l’entreprise. Si le désaccord persiste, il peut être transmis au Safety and Security Committee, un comité de surveillance indépendant rattaché au conseil de la fondation OpenAI. La procédure prévoit donc deux niveaux, avec une instance interne en premier et un recours indépendant ensuite. Cette étape compte parce qu’une évaluation peut soulever des questions d’interprétation : un résultat inquiétant peut dépendre d’un test, d’un contexte d’utilisation ou des informations auxquelles l’équipe a eu accès. Mais la présence d’une procédure ne dit pas, à elle seule, quelle décision sera prise ni si toutes les conclusions seront rendues publiques. Le mécanisme indique plutôt où le différend doit être examiné. Il faut donc distinguer le traitement du désaccord et la transparence des preuves : le premier est organisé, tandis que la seconde reste encadrée par les règles de publication et de confidentialité. En pratique, ce circuit peut permettre de faire remonter une contestation au-delà des équipes directement impliquées, sans supprimer pour autant les limites du périmètre initial. C’est une garantie de procédure, pas une promesse que chaque désaccord aboutira à une conclusion publique détaillée.
Victor
Qu’est-ce qu’il faut retenir pour juger la portée réelle de ce programme ?
Sacha
Il faut retenir deux choses à la fois. D’un côté, OpenAI fait entrer 4 organisations externes dans plusieurs étapes du développement de ses modèles, avec des missions qui vont de la recherche de comportements dissimulés à l’examen des tests d’alignement et des mécanismes internes. Cet accès peut aider à chercher des problèmes avant qu’ils ne soient visibles dans un produit, et OpenAI dit vouloir prolonger les collaborations pour obtenir des évaluations régulières. De l’autre côté, cet examen reste organisé dans un cadre défini par l’entreprise : les accès varient selon les projets, les échanges avec le personnel sont autorisés, et la publication des preuves peut être limitée. Apollo a précisément signalé que certaines restrictions compliquaient une évaluation pleinement indépendante. Il manque aussi des règles publiques communes pour comparer les missions et leur niveau d’ouverture. Le programme constitue une nouvelle forme de contrôle extérieur, mais son existence ne suffit pas à démontrer que les évaluations seront complètes ou vérifiables par tous. Pour en mesurer la portée, il faudra regarder les résultats publiés, les éléments qui les accompagnent, et la façon dont les éventuels désaccords sont traités. C’est ce contraste entre davantage d’accès interne et une transparence toujours encadrée qui résume l’enjeu.
Victor
Merci Sacha pour ces éclairages.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.