TAC calibre les scores d’incertitude

MMarc

Des chercheurs de Nanyang Technological University, de KAIST et de Shanghai Jiao Tong University proposent Truth AnChoring, ou TAC, une méthode qui transforme les scores d’incertitude des modèles de langage en probabilités estimant si leurs réponses sont correctes, selon AlphaSignal. Cette méthode intervient après la production des scores et utilise des exemples étiquetés pour établir le lien entre l’incertitude exprimée par un modèle et l’exactitude de ses réponses. Les auteurs décrivent un problème qu’ils appellent « proxy failure » : un score d’incertitude reflète le comportement du modèle, et son lien avec l’exactitude peut changer d’un modèle à l’autre ou d’un jeu de données à l’autre. Ils établissent aussi que la capacité d’un score à distinguer les réponses exactes des erreurs est limitée par l’information qu’il contient sur l’exactitude. Lors de tests sur TriviaQA, SciQ et PopQA, avec 5 modèles ouverts, TAC réduit de 17 à 27 points l’erreur de calibration, selon l’étude. L’article indique que la méthode fonctionne avec seulement 32 exemples étiquetés et reste efficace lorsque 30 % de la supervision est corrompue. Les travaux, acceptés à Findings of EMNLP, portent sur des réponses à des questions factuelles avec des modèles de 3 à 9 milliards de paramètres ; le code et le pipeline sont publiés sous licence Apache-2.0.