Agile Deliberation : aider les humains à définir les zones grises de l’IA

SSacha

Un classificateur d’images apprend à partir d’exemples étiquetés par des personnes. Pour reconnaître un panneau d’arrêt, les contours de la catégorie sont généralement plus clairs que pour décider si un plat est sain ou si une image relève du clickbait. Google Research présente Agile Deliberation comme un cadre interactif qui aide les utilisateurs à préciser ces notions, puis à construire un classificateur. Dans les catégories subjectives, les limites peuvent dépendre du contexte culturel, d’un jugement personnel ou de règles opérationnelles. Et, souvent, la personne ne possède pas dès le départ une définition complète : elle découvre ses exceptions en rencontrant des exemples concrets.

SSacha

Dans les méthodes habituelles, on suppose que la catégorie est déjà définie de façon assez claire et stable. Cette supposition fonctionne mieux quand il s’agit de reconnaître un objet concret que lorsqu’on doit interpréter une notion aux frontières floues. Agile Deliberation traite plutôt la création du classificateur comme une conversation qui peut évoluer : la personne précise son idée, examine des exemples, puis affine sa définition. Une boucle d’optimisation pilotée par un grand modèle de langage utilise les retours pour construire le classificateur. Alors, le point de départ n’est plus une consigne figée que l’utilisateur devrait écrire parfaitement du premier coup. Le processus vise à faire apparaître les critères au fil du travail, au lieu de demander une définition complète avant même d’avoir vu les cas difficiles.

SSacha

Le processus commence par cadrer le concept : l’utilisateur précise les sous-catégories qu’il veut inclure et les exclusions qui comptent. Ensuite, le système sélectionne des images proches de la frontière de décision, parce que ce sont des exemples susceptibles de révéler une ambiguïté. La personne indique comment elle classerait ces images, et sa réponse peut faire émerger une règle qui n’avait pas été formulée au départ. À partir de ces retours, le système met automatiquement à jour le prompt utilisé par le classificateur. En fait, chaque image limite sert un peu de loupe : elle aide à voir où la définition manque de précision. La personne ne fournit donc pas seulement une étiquette supplémentaire, elle contribue à préciser la règle qui guidera les décisions suivantes.

SSacha

Prenons l’exemple d’une catégorie de nourriture saine. Une personne peut décider d’inclure les salades, les bols de céréales et certaines protéines peu grasses, tout en excluant les aliments très transformés. Puis le système présente l’image d’un smoothie aux fruits, qui rend la frontière moins évidente. La personne doit alors décider si le sucre ajouté, la portion ou le degré de transformation changent la classification. Le système ne tranche pas ces choix à sa place : il met plutôt le cas devant elle, afin que sa décision puisse préciser la définition. Cette distinction est importante, parce que le mot « sain » peut sembler familier tout en recouvrant des critères différents. En explicitant ces critères, l’utilisateur donne au classificateur une consigne plus précise que la seule étiquette générale.

SSacha

L’évaluation a porté sur 2 catégories : « Healthy Food », autour de la nourriture saine, et « Pay-to-Play », une catégorie de modération liée à des contenus trompeurs de type clickbait. Google Research indique que l’étude s’est déroulée au cours de 18 sessions en direct avec des participants, chacune durant 90 minutes. Ce choix permettait d’observer des personnes qui précisent leurs critères pendant une interaction réelle, plutôt que de s’appuyer uniquement sur un test simulé. D’après AlphaSignal, Agile Deliberation a surpassé les méthodes de référence sur les tâches subjectives évaluées : une approche zero-shot, Modeling Collaborator et une méthode manuelle. Ces résultats concernent précisément ces catégories, ces sessions et ces comparaisons ; ils ne démontrent pas que la méthode aurait les mêmes performances dans toutes les situations où l’on classe des images.

SSacha

Google Research indique aussi que les participants ont ressenti moins de fatigue et d’anxiété, et que les modèles produits étaient plus cohérents et plus performants que les méthodes de référence. Le travail avec des images proches de la frontière remplaçait une partie de l’écriture manuelle de prompts par des retours directs sur des exemples. Cela permettait aux chercheurs d’observer comment l’intention des participants évoluait au fil de l’interaction. Il faut toutefois garder la portée de ces constats en tête : ils viennent des sessions et des tâches étudiées. On ne peut pas en déduire que toute tâche de modération devient facile, ni que chaque utilisateur connaîtra nécessairement la même expérience. La méthode organise le travail de définition et rapporte des résultats encourageants dans ce cadre précis, sans faire disparaître les difficultés propres aux catégories subjectives.

SSacha

Une catégorie subjective ne possède pas forcément une frontière universelle. Les définitions peuvent varier selon le contexte culturel, les jugements personnels ou les règles opérationnelles auxquelles on veut répondre. Agile Deliberation aide à préciser une définition et à examiner des cas limites, mais les critères restent à formuler par les utilisateurs. Les images choisies près de la frontière peuvent aider à rendre l’ambiguïté visible, puis les réponses servent à actualiser le prompt du classificateur. Cela ne signifie pas que le système décide quelle définition est la meilleure, ni qu’il élimine les désaccords entre personnes. Une organisation doit donc d’abord savoir quelle catégorie elle veut représenter et quelles règles elle souhaite appliquer. Le classificateur peut ensuite travailler à partir de ces choix explicités, mais la responsabilité de les définir demeure humaine.

SSacha

Il faut aussi distinguer l’amélioration du processus et la validité de la règle retenue. Si une catégorie est définie différemment par deux groupes, une méthode qui aide chacun à clarifier ses critères ne les rend pas automatiquement identiques. De même, les résultats obtenus sur « Healthy Food » et « Pay-to-Play » ne suffisent pas à conclure que le système répondra de la même manière à toutes les catégories possibles. Les 18 sessions donnent des observations directes sur l’expérience des participants et les tâches étudiées, mais elles ne couvrent pas toutes les situations d’usage. La méthode rend plus visible le travail de définition ; elle ne remplace pas une décision sur les critères, ni l’examen de la façon dont ces critères sont utilisés. C’est une aide pour construire un classificateur à partir d’une définition précisée, pas une réponse automatique à la question de savoir quelle définition adopter.

SSacha

Google Research a publié le code et les algorithmes du projet en open source sur GitHub. La présentation s’accompagne aussi d’un notebook de démonstration, d’après Unite.AI, et le projet fait l’objet d’un article publié à CVPR 2026. Le principe tient en deux étapes : cadrer la catégorie, avec ses sous-catégories et ses exclusions, puis examiner des images limites pour préciser les règles. Les retours mettent automatiquement à jour le prompt du classificateur. Les résultats rapportés portent sur 2 catégories, 18 sessions de 90 minutes et plusieurs méthodes de comparaison. Ils indiquent des performances supérieures aux références évaluées ainsi qu’une baisse de la fatigue et de l’anxiété rapportées par les participants. À retenir, donc : Agile Deliberation propose une façon structurée de faire émerger les zones grises avant de classer les images, mais les choix qui définissent ces zones restent ceux des personnes qui utilisent la méthode.