Contamination des benchmarks

TThéa

La contamination des benchmarks, c’est quand un modèle d’intelligence artificielle a déjà rencontré, pendant son entraînement, des questions ou des réponses utilisées ensuite pour le tester. Imaginez un élève qui connaît les sujets d’examen avant l’épreuve : il peut réussir sans vraiment savoir résoudre les problèmes. Pour une intelligence artificielle, la contamination peut être directe, si les questions du test ont été intégrées à l’entraînement, ou indirecte, si le modèle a vu des contenus très proches. Le score paraît alors meilleur qu’il ne l’est et ne dit plus clairement si le système saura répondre à des questions nouvelles ou dans des situations concrètes. Cela fausse les comparaisons entre modèles et peut exagérer leurs capacités. Mais un score élevé ne prouve pas qu’un benchmark est contaminé : il faut examiner comment ses données ont été préparées et utilisées.