ScoringBench évalue les distributions prédictives

OOndine

ScoringBench évalue les modèles de régression tabulaire sur 97 jeux de données, en notant leurs distributions prédictives avec plusieurs règles de score probabilistes, selon AlphaSignal. Le benchmark ne se limite donc pas à comparer une estimation ponctuelle avec des métriques comme le RMSE ou le R² : il prend en compte l’ensemble de la distribution prédictive produite par chaque modèle. Cinq règles sont citées : le CRPS, le CRLS, le score d’intervalle, le score d’énergie et le CRPS pondéré. Chacune fournit une méthode de notation distincte pour comparer les distributions prédictives, plutôt que de ramener chaque résultat à une seule valeur. Le benchmark compare notamment des variantes de realTabPFNv2.5 et de TabICL, ainsi que des arbres de gradient boosting et des perceptrons multicouches. Le classement obtenu varie sensiblement selon la règle de score retenue, contrairement à une évaluation limitée au RMSE ou au R², qui repose sur des métriques ponctuelles. L’ordre des modèles dépend donc de la méthode choisie pour évaluer leurs prédictions, et un modèle placé en tête avec une règle peut être classé autrement avec une autre. ScoringBench est publié en open source et met à disposition un classement hébergé sur GitHub, où les résultats de cette comparaison sur 97 jeux de données peuvent être consultés.