Ai2 affirme avoir réduit l’attente dans ses files de processeurs graphiques

EElias

Alors, l’équipe infrastructure d’Ai2 a remplacé un ordonnanceur fondé sur des priorités par un système qui associe des budgets de temps GPU, une allocation équitable hiérarchique et un contrat de partage temporel, d’après Hugging Face. L’objectif est de déplacer la discussion sur la quantité de temps accordée aux projets, auparavant traitée au cas par cas par les équipes opérationnelles, vers un processus administratif de budgétisation présenté comme transparent. C’est une modification des règles de répartition, mais aussi du lieu où se décide la part de calcul réservée aux projets. L’ordonnanceur ne repose donc plus seulement sur des étiquettes de priorité pour départager les demandes. Il faut distinguer cette règle d’allocation des résultats mesurés ensuite : la refonte ne signifie pas que chaque demande obtient une réponse immédiate. Elle donne plutôt un cadre commun à des travaux qui se disputent une capacité limitée.

EElias

Sur le plus grand cluster H100 d’Ai2, l’attente médiane dans la file est passée de 5 minutes à 24 secondes, soit une baisse annoncée de 87 %, d’après AlphaSignal. La médiane partage les attentes en 2 groupes égaux : la moitié est plus courte, l’autre moitié plus longue. Ai2 indique aussi que le 90e percentile du temps d’attente est passé de 2,8 heures à 1,8 heure. Autrement dit, 90 % des attentes se situent sous ce seuil, et les autres le dépassent. L’institut affirme que les équipes ont reçu 98 % des heures GPU qui leur étaient dues, tandis que l’occupation des clusters est restée à 98 %. Ce sont 2 mesures différentes : la première concerne les heures dues aux équipes et distribuées, la seconde l’occupation des clusters. Elles suggèrent une amélioration de l’attente sans baisse de l’occupation, mais ne donnent pas le délai de chaque demande individuelle. Il ne faut donc pas comprendre les 24 secondes comme une promesse faite à chaque chercheur, ni comme le temps d’attente sur tous les clusters. Ce sont des résultats communiqués par Ai2 pour son infrastructure, et ils décrivent plusieurs indicateurs plutôt qu’une garantie unique.

EElias

Dans le nouveau dispositif, un travail peut déclarer une durée minimale d’exécution pendant laquelle il est protégé contre cette interruption, avec un plafond de 8 heures, d’après AlphaSignal. Le contrat de partage temporel fait partie du système qui associe cette règle à des budgets de temps GPU et à une allocation équitable hiérarchique. En pratique, cela donne une période bornée pendant laquelle un travail peut avancer sans être interrompu, plutôt qu’une protection sans limite indiquée. La règle doit aussi s’inscrire dans le partage global des ressources entre travaux concurrents. Les informations publiées ne détaillent pas toutes les décisions prises par l’ordonnanceur dans chaque situation, ni la façon dont chaque projet choisit sa durée minimale. Il faut donc éviter d’imaginer une durée identique pour tous les travaux : le dispositif prévoit une durée déclarée, encadrée par un maximum. Cette protection offre une règle de fonctionnement, pas la certitude qu’un calcul se terminera dans un délai déterminé.

EElias

Ai2 gère des milliers de GPU NVIDIA H100, B200 et B300, répartis dans des clusters de 88 à 1 024 processeurs graphiques, pour environ 150 chercheurs internes, d’après Hugging Face. Les demandes de calcul représentent à tout moment 2 à 3 fois le nombre de GPU disponibles. En clair, chaque heure de calcul peut être convoitée par plusieurs travaux, ce qui rend nécessaire un arbitrage. Ai2 explique que l’ancien système à priorités a favorisé des comportements problématiques : certains travaux inactifs réservaient des GPU afin que les utilisateurs puissent s’y connecter rapidement. L’institut décrit aussi une inflation des priorités, jusqu’à ce que tous les travaux planifiés soient classés au niveau élevé et que les niveaux inférieurs soient privés de temps de calcul. Enfin, lorsque des machines nécessitaient une maintenance, les équipes opérationnelles devaient négocier l’arrêt de travaux protégés. Le problème n’était donc pas seulement une file trop longue : les règles elles-mêmes pouvaient inciter à réserver des ressources ou à réclamer une priorité élevée. La nouvelle méthode cherche à organiser cette concurrence par des budgets et un partage hiérarchique, plutôt que par une accumulation de priorités.

EElias

Les premiers concernés sont les chercheurs d’Ai2, qui se partagent ces ressources pour des travaux de recherche différents. Les milliers de GPU servent notamment à des entraînements de modèles d’intelligence artificielle, et environ 150 chercheurs internes utilisent les clusters. Comme les demandes dépassent souvent largement la capacité disponible, les règles de répartition ont un effet direct sur l’accès au temps de calcul. La refonte ne crée pas de processeurs supplémentaires : elle vise à répartir autrement le temps déjà disponible entre des projets concurrents. Ai2 rapporte aussi que le drainage automatisé des machines grâce au partage temporel a réduit de 74 % les réparations nécessitant une intervention humaine, selon AlphaSignal. Le drainage correspond ici à la mise à l’écart d’une machine pour permettre sa maintenance. Les éléments publiés ne précisent pas le détail des opérations de drainage, ni la part de la baisse attribuable à chaque cause de réparation. On peut retenir une diminution annoncée des interventions humaines dans l’expérience d’Ai2, mais pas en conclure que d’autres laboratoires obtiendraient le même résultat. Ce chiffre complète les indicateurs d’attente et d’occupation : il porte sur la gestion des réparations, et non sur la vitesse de chaque calcul.

EElias

D’abord, les chiffres présentés concernent l’expérience d’Ai2, et les 24 secondes portent sur son plus grand cluster H100. Le 90e percentile est passé de 2,8 heures à 1,8 heure, mais cela ne dit pas combien de temps attend chaque personne ni chaque type de travail. L’occupation des clusters est de 98 % selon Ai2 ; ce chiffre ne précise pas l’efficacité de chaque calcul individuel. De même, les 98 % d’heures GPU distribuées correspondent aux heures dues aux équipes, pas à l’ensemble des demandes formulées. Elles ne permettent donc pas de savoir comment chaque catégorie de recherche sera arbitrée, ni d’établir que les mêmes résultats seraient obtenus ailleurs. Enfin, la protection contre la préemption est plafonnée à 8 heures pour la durée minimale déclarée. Le partage peut ainsi imposer des interruptions à des travaux qui auraient auparavant conservé leur accès plus longtemps, même si une période minimale est protégée. Il faut distinguer les résultats annoncés par Ai2 d’une garantie de délai pour chaque demande ou d’une solution générale à la pénurie de calcul. La refonte modifie les règles de partage ; elle ne supprime ni la concurrence ni les limites de capacité.

EElias

Le point central, c’est que les règles d’un ordonnanceur influencent la manière dont les équipes se partagent les ressources. Avec l’ancien système, Ai2 décrit des travaux inactifs qui réservaient des GPU, des priorités qui finissaient toutes au niveau élevé et des négociations autour de tâches protégées lors des maintenances. L’institut a remplacé ce modèle par des budgets de temps GPU, une allocation équitable hiérarchique et un contrat de partage temporel, d’après Hugging Face. Ai2 annonce une attente médiane ramenée à 24 secondes sur son plus grand cluster H100, tout en maintenant une occupation de 98 % et en distribuant 98 % des heures dues aux équipes. L’institut rapporte aussi une baisse de 74 % des réparations nécessitant une intervention humaine, selon AlphaSignal. En fait, la refonte traite autant des incitations entre utilisateurs que de la planification technique. Son intérêt, dans ce cas, est de proposer une façon différente de gérer une capacité très demandée, avec des règles de partage et une protection bornée. Il reste à garder en tête ce que les chiffres mesurent : des attentes, des heures distribuées, l’occupation des clusters et des interventions de réparation, pas une promesse identique pour chaque utilisateur.