Comparer des distributions conditionnelles avec des modèles génératifs

OOndine

Des chercheurs proposent un test qui compare deux distributions conditionnelles, c’est-à-dire deux façons de répartir les résultats lorsque l’on tient compte d’une variable de contexte, dans une étude déposée sur arXiv jeudi. La question est importante notamment lorsque la variable de contexte comporte beaucoup d’informations. Les méthodes existantes peuvent alors perdre en capacité à repérer une différence. Ce type de comparaison peut servir, entre autres, à étudier les liens de cause à effet, à vérifier un modèle ou à transférer un apprentissage d’un contexte à un autre. Pour comprendre l’approche, imaginons deux recettes dont le résultat dépend de nombreux ingrédients. Il ne suffit pas de comparer les plats obtenus : il faut aussi tenir compte des ingrédients utilisés. Le test combine des observations réelles avec des échantillons synthétiques, autrement dit des exemples produits par un modèle génératif. Les chercheurs séparent les échantillons et ajustent la statistique du test pour tenir compte de l’erreur liée à l’estimation. Cette étape, appelée studentisation, revient à prendre en compte l’incertitude de la mesure, comme avec une règle dont la précision varie. Le résultat théorique principal concerne le cas où les deux distributions sont égales. Quand la quantité de données augmente, la statistique du test se rapproche d’une loi normale. Les auteurs étudient aussi sa capacité à détecter des écarts faibles, lorsque les distributions restent proches. Dans leurs expériences, ils observent un contrôle précis du niveau du test : autrement dit, le risque de signaler une différence alors qu’il n’y en a pas est bien maîtrisé. Ils rapportent aussi une puissance élevée dans des situations de grande dimension, face à des méthodes de comparaison de référence. La garantie théorique annoncée repose sur une condition : la distribution conditionnelle apprise par le modèle doit converger vers la distribution recherchée. Cette exigence permet d’envisager une large classe de modèles génératifs, mais elle ne garantit pas que chaque modèle donnera des résultats fiables.