Pando, le backend Git d’OpenAI à grande échelle

EElias

Alors, le changement se passe dans l’infrastructure qui sert le dépôt, et non dans les commandes utilisées par les équipes. D’après AlphaSignal, OpenAI a détaillé Pando pour son monorepo, c’est-à-dire son dépôt de code, tout en laissant les ingénieurs et les agents Codex utiliser les commandes Git habituelles. Les utilisateurs continuent donc à travailler avec Git, tandis que le système qui reçoit et traite les opérations du dépôt est différent. OpenAI explique que le volume de commits, produits à la fois par les humains et par les agents, a augmenté et mettait à mal la fiabilité de son ancien serveur Git. Pando est la réponse présentée par l’entreprise à cette pression sur le serveur, sans changement annoncé des habitudes Git des développeurs et des agents.

EElias

Le point important, c’est que Pando permet des écritures simultanées sur des branches différentes. Une branche correspond ici à une partie distincte du travail suivi dans le dépôt ; le système peut donc accepter en même temps des opérations qui concernent des branches séparées. Cela ne veut pas dire que toutes les écritures sont interchangeables : le fait décrit par OpenAI porte bien sur des branches différentes. Cette possibilité de paralléliser les écritures fait partie des moyens employés par Pando pour traiter l’activité du monorepo.

EElias

OpenAI indique que Pando peut être étendu en ajoutant des instances de service et du stockage. L’entreprise mentionne aussi la possibilité d’ajouter des unités de capacité pour les métadonnées, qui sont les informations associées aux objets gérés par le système. En pratique, cette architecture n’est donc pas présentée comme une machine unique qu’il faudrait remplacer dès que le volume progresse. La capacité peut être augmentée en ajoutant des ressources dans plusieurs parties du système, notamment pour le service, les métadonnées et le stockage. C’est une manière de faire évoluer le backend avec les besoins, même si les faits disponibles ne donnent pas de seuil précis ni de coût associé à ces ajouts.

EElias

OpenAI indique que Pando a réduit d’environ 80 % la latence médiane des push. Un push, c’est une opération d’envoi de changements vers le dépôt Git ; la latence désigne le délai associé à cette opération. La médiane résume le milieu d’un ensemble de mesures, donc le chiffre annoncé ne signifie pas que chaque push a vu son délai diminuer exactement de la même proportion. OpenAI indique aussi que Pando traite près d’un pétaoctet de données Git par jour. Il s’agit d’un ordre de grandeur du volume traité quotidiennement par le système, et non d’une affirmation selon laquelle cette quantité entière serait nouvellement créée chaque jour. Les deux mesures donnent donc deux indications différentes : l’une porte sur le délai médian d’une opération, l’autre sur le volume quotidien traité.

EElias

OpenAI relie ce besoin à la hausse du volume de commits générés par les humains et par les agents. Un commit est une modification enregistrée dans l’historique d’un projet ; plus leur nombre augmente, plus le serveur qui reçoit les opérations doit faire face à cette activité. L’entreprise indique que cette progression mettait à mal la fiabilité de son ancien serveur Git. C’est donc le fonctionnement de son propre dépôt et la hausse des contributions qui motivent l’architecture présentée. Il faut rester précis : cela ne permet pas de conclure que tous les serveurs Git seraient confrontés au même problème, ni que tous les dépôts auraient besoin de Pando. La justification donnée concerne OpenAI et son volume de commits, humains comme agents.

EElias

Pando réutilise des packfiles, des éléments de données Git que le système peut mobiliser au lieu de les traiter comme une ressource entièrement nouvelle à chaque fois. Le fait important est cette réutilisation, intégrée au backend distribué présenté par OpenAI. Elle accompagne la possibilité d’écrire simultanément sur des branches différentes et de faire évoluer le service en ajoutant des instances et du stockage. On peut se représenter les packfiles comme des ensembles préparés que l’infrastructure est capable de réemployer, plutôt que de repartir systématiquement de zéro. Cette image aide à comprendre l’idée générale, sans prétendre détailler ici une méthode de fabrication ou de distribution qui n’est pas précisée dans les informations disponibles. Les développeurs, eux, continuent d’utiliser les commandes Git habituelles.

EElias

OpenAI indique que certaines corrections liées à Pando sont en cours de contribution au projet Git. L’entreprise cite notamment le nettoyage des packfiles après une interruption. Il faut bien distinguer une correction en cours de contribution d’une amélioration déjà intégrée : les informations disponibles ne disent pas que ce travail est achevé. Le bilan, c’est qu’OpenAI a conçu un backend compatible avec Git pour son monorepo, en réponse à l’augmentation du volume de commits produits par les humains et les agents. Pando permet les écritures simultanées sur des branches différentes, réutilise des packfiles et peut être étendu avec des instances de service et du stockage. OpenAI annonce une baisse d’environ 80 % de la latence médiane des push et près d’un pétaoctet de données Git traité par jour. Ce sont les résultats avancés pour son infrastructure, pas une garantie de résultats identiques ailleurs.