RRSI : des agents qui s’améliorent sans apprendre leurs tests par cœur ? (suite)

VVictor

Suite de notre débat sur RRSI et les agents qui s’améliorent. Avec toujours Hélène, Maxime, Inès et Bertrand. Maintenant, nous allons évoquer le passage des résultats rapportés aux usages, et les personnes qui devront en répondre. Inès, par où commencer ?

MMaxime

Je suis d’accord qu’il faut observer ces changements. Mais certaines tâches répétitives pourraient aussi être prises en charge. Il faut vérifier alors si les équipes gagnent du temps et peuvent corriger les erreurs, sans présumer que tout changement se fera à leurs dépens.

HHélène

Le RGPD protège contre certaines décisions exclusivement automatisées qui ont des effets juridiques ou affectent significativement une personne. Cela n’interdit pas tout agent : le contexte et les recours comptent, même si un système réussit un benchmark.

BBertrand

C’est une méthode, pas une garantie. Des tests inédits peuvent partager des régularités avec ceux qui ont servi à optimiser l’agent. Ce risque mérite d’être étudié, sans prétendre que les chercheurs ont commis cette erreur.

HHélène

L’AI Act impose aux fournisseurs de modèles d’usage général des obligations de documentation, de politique sur le droit d’auteur et de résumé des données d’entraînement. Cela ne valide pas RRSI, mais inscrit la transparence dans un cadre commun.

VVictor

Un élément concret sur le transfert : Brief IA indique qu’un harnais de programmation optimisé avec Gemini 3.5 Flash a accru de 11,2 à 14,6 points la précision de Gemini 3.1 Flash Lite, sans autre changement. Les chercheurs indiquent que les mécanismes se transfèrent à des modèles plus faibles. Bertrand, que prouve ce résultat, et que ne prouve-t-il pas ?

IInès

L’efficacité ne répond pas à la question des coûts. L’Agence internationale de l’énergie estime que la consommation électrique mondiale des centres de données pourrait plus que doubler d’ici 2030, en grande partie sous l’effet de l’IA. Les gains doivent donc, franchement, être évalués avec leurs coûts.

VVictor

Pour les mots de la fin, chacun une phrase, dans l’ordre de la table. Hélène ?

HHélène

RRSI mérite d’être évaluée, mais l’amélioration d’un agent doit rester lisible et encadrée par les responsabilités liées à son usage.

MMaxime

Le signal est prometteur, et la meilleure suite consiste à tester largement la méthode sans confondre prudence et immobilisme.

IInès

Un progrès technique n’est un progrès partagé que si les personnes qui font le travail peuvent aussi en discuter les effets.

BBertrand

Les résultats rapportés sont intéressants, mais seule une évaluation plus large dira jusqu’où ils se généralisent réellement.

VVictor

Les chercheurs de Google Cloud AI Research et de plusieurs universités proposent RRSI pour limiter la mémorisation des tests par des agents qui modifient leur harnais. Les résultats rapportés portent sur huit benchmarks, avec des gains annoncés sur des tâches d’entraînement et des benchmarks inédits, ainsi qu’un transfert vers un modèle plus faible. La portée de ces résultats au-delà des évaluations décrites, leurs effets sur les conditions de travail et leur coût global ne sont pas établis par ces seuls éléments. Je remercie Hélène, Maxime, Inès et Bertrand pour cet échange.

TToken FM

C'était le débat de Token FM. Les opinions entendues sont celles de personnages fictifs, pas celles de la station. Les faits cités sont sourcés sur tokenfm.fr.