Un signal commun dans robots.txt pour les préférences de scraping par l’IA

EElias

D’après The Verge, OpenAI, Google, Microsoft et Anthropic prévoient d’adopter un même signal, appelé « policy token », pour que les éditeurs communiquent leurs préférences à plusieurs fournisseurs à la fois. Ce signal doit figurer dans robots.txt, un fichier utilisé pour indiquer aux robots d’exploration les règles d’accès à un site. Jusqu’à présent, un éditeur devait repérer les robots de chaque entreprise et gérer des consignes distinctes pour exprimer ses choix. Avec ce mécanisme, le même marqueur pourrait indiquer aux fournisseurs participants qu’un site ne souhaite pas que son contenu serve à entraîner des modèles d’intelligence artificielle. Les entreprises annoncent qu’elles limiteront l’accès de leurs robots d’intelligence artificielle lorsque le signal sera présent. Alors, l’intérêt immédiat est surtout de simplifier la transmission d’une préférence, au lieu de répéter plusieurs fois une consigne comparable. Mais cela ne signifie pas que tous les robots du secteur appliqueront le signal : l’engagement annoncé concerne les entreprises participantes, et le dispositif devra être pris en charge par leurs outils. Pour un éditeur, l’effet attendu se situe donc dans la gestion de ses règles, sans constituer une interdiction générale du scraping sur Internet. Le choix reste exprimé par le site, tandis que son application dépendra des fournisseurs qui auront intégré ce signal.

EElias

Robots.txt permet à un site de transmettre des consignes aux robots qui parcourent ses pages, notamment pour préciser les accès autorisés ou refusés. Le « policy token » ajoute à ce fichier une manière commune d’indiquer une préférence sur l’utilisation des contenus pour entraîner des systèmes d’intelligence artificielle. Kevin Kelley, responsable technique des standards chez Anthropic, a proposé ce signal dans le cadre de l’IETF, d’après The Verge. L’idée répond à une difficulté concrète : chaque entreprise peut avoir ses propres robots, et les responsables de sites doivent alors suivre plusieurs règles pour faire connaître leurs préférences. Un signal commun pourrait servir de consigne réutilisable auprès des fournisseurs qui choisissent de le prendre en charge, plutôt que d’obliger les éditeurs à recopier des demandes distinctes. OpenAI précise que le nouveau mécanisme ne remplacera pas les contrôles existants dans robots.txt, qui continueront de s’appliquer. Il s’agit donc d’ajouter une possibilité commune aux réglages déjà disponibles, sans effacer les consignes antérieures. Le signal exprime une préférence du site ; les annonces ne disent pas qu’il s’imposera automatiquement aux entreprises qui ne l’ont pas adopté. L’existence d’un format partagé ne garantit pas non plus que chaque fournisseur l’interprétera de façon identique dans tous les cas : son effet dépendra de sa mise en œuvre par les participants.

EElias

Les premiers concernés sont les éditeurs et les opérateurs de sites qui souhaitent préciser comment leurs contenus peuvent être utilisés pour entraîner des modèles d’intelligence artificielle. Une publication peut vouloir garder ses pages accessibles aux visiteurs tout en signalant une préférence sur l’utilisation de son contenu par les robots d’intelligence artificielle. Le bénéfice recherché est d’éviter d’entretenir une série de consignes différentes pour chaque fournisseur participant. Le déploiement sera progressif : Anthropic a déjà adopté le signal, tandis que Google et Microsoft prévoient de le prendre en charge l’année prochaine. OpenAI annonce une mise en œuvre dans les prochains mois, sans encore détailler les modalités précises. Le projet prend place dans le groupe « Préférences IA » de l’IETF, et OpenAI invite d’autres fournisseurs à rejoindre la démarche, d’après Brief IA. Pour les sites, l’utilité dépendra de la compatibilité de leurs outils et de l’adoption effective du signal par les robots concernés. Aucun chiffre n’est annoncé sur le nombre de sites susceptibles de l’utiliser, ni sur le temps que les éditeurs pourraient économiser. On peut donc parler d’un effort pour réduire les démarches répétées, mais pas encore en mesurer les effets à grande échelle. Un site qui souhaite s’en servir devra aussi vérifier que les fournisseurs auxquels il s’adresse prennent effectivement en compte ce signal.

EElias

La première limite, c’est que le signal dépend des entreprises qui le prennent en charge et appliquent la préférence exprimée par le site. OpenAI, Google, Microsoft et Anthropic annoncent qu’ils limiteront l’accès de leurs robots d’intelligence artificielle aux sites où le « policy token » est présent, mais les détails complets de mise en œuvre ne sont pas précisés. Il faut aussi distinguer l’entraînement d’un modèle et l’AI grounding, c’est-à-dire le recours à une source d’information pour ancrer une réponse générée. Microsoft prévoit des contrôles plus détaillés, qui permettraient à un éditeur de refuser séparément l’utilisation de ses contenus pour l’entraînement ou pour l’AI grounding. C’est une distinction utile pour un site qui voudrait autoriser un usage et en refuser un autre, plutôt que de disposer d’un seul réglage général. Microsoft indique par ailleurs que les sites concernés resteront visibles dans les résultats de recherche de Bing. Autrement dit, pour Microsoft, exprimer une préférence sur ces usages ne signifie pas nécessairement disparaître de son moteur de recherche. Il ne faut toutefois pas étendre cette précision à tous les fournisseurs : les options séparées annoncées sont celles que Microsoft prévoit, et les faits disponibles ne permettent pas d’affirmer que les autres proposeront les mêmes réglages. Les éditeurs devront donc regarder à la fois le signal partagé et les possibilités propres à chaque service. La distinction entre entraînement et grounding rappelle que les préférences ne portent pas forcément sur un usage unique du contenu.

EElias

Bon, l’essentiel est que plusieurs grands fournisseurs annoncent une manière commune d’exprimer, dans robots.txt, une préférence sur l’utilisation des contenus pour l’entraînement de l’intelligence artificielle. Le mécanisme pourrait alléger le travail des éditeurs en évitant de multiplier les consignes pour chaque entreprise participante, mais cet avantage dépendra de son déploiement et de son adoption. Anthropic l’a déjà adopté ; Google et Microsoft prévoient de le prendre en charge l’année prochaine, tandis qu’OpenAI annonce une mise en œuvre dans les prochains mois et doit encore communiquer des précisions. Les contrôles déjà présents dans robots.txt doivent rester en place : le nouveau signal est présenté comme un ajout, pas comme un remplacement. Microsoft prévoit aussi de distinguer l’entraînement de l’AI grounding et indique que les sites concernés resteront visibles dans les résultats de Bing ; cette précision concerne Microsoft. Le projet est proposé dans le cadre des travaux de l’IETF, et OpenAI appelle d’autres fournisseurs à le rejoindre. Il faut retenir un outil commun pour communiquer un choix, pas une garantie universelle qui réglerait à elle seule toutes les questions de collecte et d’utilisation des contenus en ligne. La suite dépendra de la façon dont les fournisseurs le mettront en œuvre, et des options concrètes qu’ils proposeront aux éditeurs. Pour un site, la prochaine étape sera donc de vérifier quels robots reconnaissent effectivement le signal, et quels réglages particuliers restent disponibles auprès de chaque service.