Explorer des textes avec des axes en langage naturel

MMarc

Une étude présentée sur arXiv examine une méthode appelée « zero-shot visualization », qui permet d’explorer des corpus textuels en positionnant les documents selon des concepts formulés en langage naturel. L’utilisateur peut ainsi proposer les concepts qui servent d’axes à la visualisation, sans que ceux-ci soient décrits comme des catégories prédéfinies dans la définition de la tâche par les auteurs. Un grand modèle de langage intervient dans cette approche d’exploration, où la position des documents dépend des axes correspondant aux concepts demandés. Pour étudier cette étape, les auteurs établissent un benchmark et comparent plusieurs méthodes de notation, c’est-à-dire différentes façons d’évaluer les documents au regard des concepts choisis. Trois familles sont mises en regard : la similarité d’embeddings, les jugements sémantiques directs et l’estimation de vraisemblance conditionnelle. L’étude évalue les propriétés de ces méthodes sur plusieurs jeux de données et cas d’usage ; elle examine aussi des choix de conception du système, dans le cadre de l’évaluation de la qualité de la visualisation. Le travail porte donc à la fois sur la notation des documents et sur les décisions de conception qui interviennent dans leur organisation visuelle. Il propose une comparaison de ces options, sans établir qu’une méthode ou un choix de conception serait préférable dans tous les usages.