Un protocole pour des benchmarks plus reproductibles

OOndine

Une étude publiée jeudi sur arXiv propose une méthode pour rendre plus stables les tests de vitesse des grands modèles de langage et mieux repérer leurs régressions, c’est-à-dire les baisses de performance après un changement. Le problème est simple. Un même modèle peut donner des résultats différents d’un essai à l’autre, parce que l’exécution et l’état du système varient. Pour limiter ces écarts, les auteurs proposent une méthode d’isolation séquentielle. Imaginez une file d’attente où l’on mesure le temps de passage dans des conditions organisées, puis où l’on modifie le nombre de personnes qui attendent en même temps. De façon comparable, le protocole contrôle les essais tout en faisant varier la concurrence des charges de travail. Cela permet de comparer les mesures plus régulièrement et de chercher d’éventuelles régressions. Les chercheurs ont testé cette méthode sur 3 grands modèles de langage open source. Ils les ont exécutés avec vLLM 0.9.1 sur un processeur graphique NVIDIA A100 de 80 gigaoctets. Le protocole couvre 6 tailles de contexte, autrement dit différentes longueurs de texte traitées, et 8 niveaux de demandes simultanées. Chaque configuration a été répétée 5 fois. Le résultat principal concerne la dispersion des mesures. Avec le protocole final, le coefficient de variation moyen passe de 15,2 % à 2,2 %, par rapport à l’étape la moins contrôlée. En clair, les résultats répétés sont nettement plus resserrés. Pour ce calcul, les auteurs ont pris, dans chacune des 5 répétitions d’une configuration, la médiane du délai avant la production du premier jeton, puis ont mesuré la variation entre ces médianes. Cette amélioration ne signifie pas que les mesures prédisent directement la vitesse d’un service utilisé dans des conditions réelles et variables. Les auteurs indiquent que leur protocole vise une comparaison stable et la détection de régressions, plutôt que la prédiction du comportement en production. Il faut donc distinguer un benchmark mieux contrôlé d’une promesse de performance pour tous les usages.