Deux méthodes pour choisir parmi des options

MMarc

Une étude publiée sur arXiv compare, pour des décisions à choix fermé, le score attribué à toutes les options ensemble et les scores attribués séparément à chaque option. Cette comparaison concerne notamment des situations où un modèle doit choisir parmi plusieurs réponses possibles. Dans les expériences menées avec des modèles de 32 millions de paramètres et trois graines, le scoring séparé dépasse le scoring conjoint de 5,8 points de compétence corrigée du hasard sur un échantillon tenu à l’écart, au sein d’une suite de 37 benchmarks. Les deux méthodes sont comparées à nombre égal d’étapes d’optimisation, et l’avantage du scoring séparé atteint encore 2,8 points lorsque le coût d’entraînement est approximativement égal. Ces résultats portent sur les tâches évaluées dans cette suite : deux benchmarks externes vont dans le même sens, mais l’avantage n’y est pas statistiquement significatif pour les tâches inédites. L’étude indique aussi que l’écart entre les méthodes dépend de l’initialisation du modèle. Il apparaît avec une initialisation de type reranker, dont l’entrée associe une requête et un candidat ; avec un encodeur brut, les deux approches sont comparables. Le résultat suggère donc que l’évaluation séparée peut être avantageuse dans certaines conditions, mais ne démontre pas une supériorité générale sur les tâches nouvelles.