ArXiv face à l’afflux des publications liées à l’intelligence artificielle

HHélène

Oui, à condition de regarder précisément ce qui est limité. La règle porte sur le déposant, pas sur le fait d’être coauteur, et elle laisse donc ouverte la possibilité de collaborer. ArXiv indique que certains travaux peuvent être retardés lorsque l’afflux mobilise les modérateurs bénévoles. Protéger la capacité d’examen humain, ce n’est pas punir l’innovation.

MMaxime

Mais vous appelez ça protéger l’accès, moi j’y vois, franchement, un frein général appliqué à tout le monde. Deux dépôts par mois, dans toutes les catégories, que le travail soit remarquable ou médiocre ! Une plateforme de recherche devrait améliorer ses outils plutôt que fixer une limite uniforme aux auteurs.

IInès

Tu parles d’une règle générale, mais le quota s’applique au déposant, pas à ses coauteurs. Et derrière les volumes, il y a, euh… les modérateurs bénévoles, qui doivent examiner ce qui arrive. Je comprends qu’un plafond puisse frustrer des chercheurs, mais je ne veux pas que leur travail invisible devienne une variable d’ajustement.

BBertrand

Je suis d’accord sur un point : il faut distinguer l’outil de son usage. ArXiv a reçu 40 363 dépôts en septembre, et la catégorie cs.AI a connu une multiplication par plus de 6 en deux ans. Ça établit une forte hausse, pas que tous ces articles soient mauvais, ni que l’intelligence artificielle en soit l’unique cause.

HHélène

Les articles rejetés comptent, explique arXiv, car ils mobilisent du travail de modération ; un dépôt supprimé avant publication libère le créneau. On peut discuter du réglage, mais il serait étrange de faire comme si l’effort d’examen n’existait pas dès lors qu’un article est rejeté.

HHélène

Maxime, personne ne dit qu’un rejet prouve une faute. ArXiv indique que ces articles comptent dans le quota parce qu’ils ont demandé du travail de modération. La plateforme évoque le risque que l’afflux retarde l’examen d’autres travaux. Une règle temporaire peut être une protection collective, pas une condamnation individuelle.

IInès

Et l’investissement, Maxime, qui le réalise et qui absorbe le travail entre-temps ? Le fait que la mesure soit temporaire ne rend pas ses effets automatiquement justes. Mais tu as, tu as raison sur un point : la plateforme doit expliquer comment elle évaluera si ses outils suivent enfin la croissance. Sinon, temporaire reste un mot sans prise pour les personnes concernées.

BBertrand

La difficulté, c’est, euh… qu’on mélange trois questions. Il y a le nombre de dépôts, la qualité des manuscrits et la capacité de modération. Les chiffres établissent la première et donnent un indice de pression sur la troisième. Ils ne suffisent pas à mesurer la deuxième. Une règle peut réduire le flux sans améliorer la qualité de ce qui reste.

BBertrand

Là, je te rejoins : un outil d’aide peut être utile, si on mesure ce qu’il apporte et ce qu’il rate. Mais on ne dispose pas ici d’une évaluation de ces outils, ni d’une preuve qu’ils savent repérer les articles de faible qualité sans écarter des travaux valables. Annoncer que l’intelligence artificielle va améliorer la modération ne suffit pas à le démontrer.

HHélène

Et, Bertrand, la limite ne doit pas être présentée comme une solution technologique. C’est une décision de gestion d’une capacité de modération limitée. Je comprends que des équipes puissent vouloir soumettre plusieurs travaux rapprochés. Mais il faut aussi considérer la charge que les dépôts représentent pour les modérateurs bénévoles.

IInès

Je veux parler du travail invisible. Les modérateurs bénévoles contribuent à l’examen des dépôts, et arXiv avertit que l’afflux peut retarder certains travaux. Il faut aussi regarder les personnes qui préparent et annotent les données utilisées par les outils d’intelligence artificielle, souvent payées, euh, à la tâche dans des pays à bas salaires. La production de textes ne se fait pas sans travail humain.

BBertrand

Oui, mais gardons les sujets à leur place. Le rôle des travailleurs qui annotent les données est un enjeu réel de l’entraînement des modèles ; cela ne démontre pas que chaque dépôt sur arXiv a été généré par ces modèles. Selon The Decoder, arXiv attribue une partie de la hausse aux outils d’intelligence artificielle. C’est une explication avancée, disons, pas une mesure de la proportion exacte de textes concernés.

HHélène

Je veux distinguer un scénario possible d’un effet déjà observé. La règle est bien limitée au déposant, et les coauteurs ne sont pas concernés par son quota. Cela ne répond pas à toutes les difficultés, mais la distinction compte : ce n’est pas un plafond de deux articles pour une équipe entière.

BBertrand

D’accord, mais la règle peut également éviter qu’une petite proportion d’auteurs mobilise de façon disproportionnée les bénévoles. Thomas G. Dietterich, président du conseil consultatif éditorial d’arXiv, avance que certains soumettent un grand nombre d’articles de faible qualité. C’est son appréciation, rapportée par The Decoder ; elle aide à comprendre la décision, sans établir que tout auteur prolifique agit ainsi.

IInès

C’est exactement là que la prudence est nécessaire. L’appréciation de Dietterich porte sur une petite proportion d’auteurs, pas sur une catégorie entière. En même temps, je… je reconnais qu’un petit nombre de soumissions peut, selon lui, occuper une part disproportionnée du temps bénévole. Il faut donc mesurer le problème sans généraliser son jugement à tous les auteurs prolifiques.