ERNIE Evolve, la recherche automatisée de Baidu

NNoor

Alors, l’idée est de confier à un système automatisé une partie du travail habituellement réalisé par des équipes de recherche : explorer du code, proposer une modification, lancer une expérience, puis garder uniquement ce qui semble améliorer un objectif mesurable. Baidu a présenté ERNIE Evolve lundi, en le décrivant comme un outil pour optimiser à la fois l’entraînement des modèles et leur fonctionnement en production, d’après AlphaSignal. Ce n’est pas, à ce stade, une intelligence artificielle qui décide librement de ses propres buts. AlphaSignal indique que le système travaille dans des dépôts de code choisis par des humains, avec des objectifs, des règles d’évaluation, des autorisations et des budgets de calcul définis à l’avance. L’annonce porte donc sur l’automatisation d’expériences au sein d’un cadre défini par des personnes. Le système modifie du code, exécute des essais et retient les améliorations validées pour l’entraînement ou l’inférence.

NNoor

Le système organise la recherche en deux boucles. La première choisit une direction à explorer, tandis que la seconde développe et teste des changements à l’intérieur de cette direction. Plusieurs pistes peuvent avancer en parallèle, chacune avec différentes versions du code, afin de prolonger les essais prometteurs et d’abandonner ceux qui ne donnent pas de résultat utile. Un exécuteur modifie le programme dans un environnement isolé, puis un évaluateur applique des critères préétablis pour mesurer les performances. Un réviseur distinct examine ensuite les changements et cherche notamment des erreurs ou des gains qui viendraient d’une faille dans le test, plutôt que d’une véritable amélioration. Les essais écartés sont conservés comme éléments de travail pour éviter de répéter certaines pistes, selon la description d’AlphaSignal. Les deux boucles servent à sélectionner les directions de recherche, puis à développer et tester des modifications. AlphaSignal précise que les évaluateurs et les réviseurs contrôlent les résultats et cherchent à repérer les changements invalides ou les gains trompeurs. Ces vérifications encadrent la sélection des résultats, sans garantir à elles seules que chaque amélioration sera utile dans d’autres contextes.

NNoor

Baidu met d’abord en avant NanoChat AutoResearch, un test qui mesure la qualité obtenue sous un budget d’entraînement défini : l’entreprise annonce un résultat de 0,8763 BPB. Sur NanoGPT Speedrun, qui porte sur la vitesse d’entraînement, elle indique avoir atteint la perte cible en 38,9 secondes sur la première piste, contre un précédent résultat de 39,9 secondes. Le détail du dépôt de résultats donne une moyenne de 38,92 secondes sur 18 essais. Sur la troisième piste, Baidu annonce avoir atteint la cible en 2 590 étapes, au lieu de 2 690 auparavant. Pour cette dernière amélioration, la méthode décrite sépare les poids du modèle en direction et en magnitude, puis ajoute une extrapolation appelée EMA-Nesterov. Ces chiffres sont des résultats communiqués par l’entreprise, et non des performances indépendamment confirmées ici, d’après MarkTechPost. Baidu présente ces résultats comme des performances de pointe sur NanoChat AutoResearch et les deux pistes de NanoGPT Speedrun. Ils concernent des mesures précises sur ces tests, et ne permettent pas, à eux seuls, de conclure à des gains sur d’autres tâches ou dans d’autres conditions.

NNoor

Les tests décrits ne reposent pas tous sur le même matériel. NanoChat et SOL-ExecBench ont été évalués sur un accélérateur NVIDIA B200, tandis que la première piste de NanoGPT Speedrun a utilisé 8 processeurs graphiques H100. MarkTechPost précise que Baidu n’a pas révélé quels modèles de langage alimentent les agents d’ERNIE Evolve. Cette information ne permet donc pas d’identifier les modèles employés par les agents. L’entreprise présente le système comme interne, mais affirme que les optimisations obtenues sont ouvertes au partage : il faut donc distinguer l’accès aux améliorations de l’accès à l’outil qui les a produites. Pour les équipes qui voudraient examiner ces optimisations, cette distinction est concrète : les changements annoncés peuvent être partagés, mais le système qui les a cherchés ne l’est pas. Les résultats publiés couvrent ainsi des essais sur des accélérateurs différents, et leur comparaison doit tenir compte du matériel employé dans chaque test.

NNoor

Baidu affirme avoir obtenu une hausse de 33,7 % du débit d’inférence sur un traitement graphique déterministe, tout en préservant la reproductibilité bit à bit. L’entreprise annonce aussi un décodage 14,9 % plus rapide pour un service ERNIE-5.5-Flash, qui était déjà optimisé pour le décodage spéculatif. Il s’agit d’un modèle encore en développement, et les travaux d’optimisation de son inférence font partie de l’annonce. Sur l’accélérateur Kunlunxin P800, Baidu dit avoir multiplié par 6,2 la vitesse de génération après 4 cycles de recherche, grâce à des noyaux de calcul fusionnés et à des corrections dans l’envoi des tâches. Ces gains sont intéressants parce qu’ils portent sur la manière de servir le modèle, pas seulement sur un score de laboratoire. Ils concernent donc le débit de traitement ou la vitesse de génération, deux mesures qui peuvent compter lorsqu’un service doit produire des réponses. Mais ils restent rapportés par Baidu et ne sont pas corroborés de manière indépendante dans les éléments disponibles. Le chiffre obtenu sur le P800 décrit une progression après plusieurs cycles d’optimisation, et non une comparaison générale entre tous les accélérateurs.

NNoor

Le tableau n’est pas uniformément favorable. Sur SOL-ExecBench, qui évalue des performances de noyaux de calcul sur processeur graphique, ERNIE Evolve atteint un score moyen de 0,819, inférieur au meilleur résultat public, qui s’établit à 0,827, selon MarkTechPost. Cela signifie que l’annonce de résultats de pointe sur certains tests ne vaut pas pour tous les benchmarks. Il faut aussi garder en tête que les chiffres et les gains de production sont ceux rapportés par Baidu, sans confirmation indépendante dans les éléments disponibles. Les mécanismes d’évaluation et de révision décrits par l’entreprise peuvent réduire les erreurs ou les gains trompeurs, mais leur efficacité dépend de la qualité des critères et des tests choisis. Le dispositif prévoit que les gains dépassent un seuil de bruit et qu’un réviseur examine les modifications, notamment pour repérer des changements invalides ou des failles dans l’évaluation. Ces précautions répondent à un problème classique des comparaisons de performances : une modification peut sembler gagnante sans améliorer réellement le résultat recherché. Elles limitent certains risques, sans remplacer une vérification indépendante des résultats annoncés.

NNoor

Il faut retenir qu’ERNIE Evolve automatise une boucle de recherche logicielle : le système formule des pistes, modifie du code, teste les résultats et retient ceux qui passent des vérifications. Baidu rapporte des performances élevées sur plusieurs pistes de NanoChat et NanoGPT, ainsi que des gains de vitesse sur des systèmes d’inférence, mais ces résultats ne sont pas vérifiés indépendamment dans les éléments disponibles. Le score inférieur au meilleur résultat public sur SOL-ExecBench rappelle que les performances varient selon les tâches. Enfin, le système lui-même reste interne à Baidu, alors que l’entreprise affirme ouvrir les optimisations produites. On peut donc y voir une démonstration de recherche automatisée appliquée à des objectifs techniques concrets, mais pas encore une preuve indépendante que cette méthode améliore de façon générale les modèles d’intelligence artificielle. La portée de l’annonce se situe aussi dans le partage annoncé des optimisations, qui peut permettre d’examiner des changements sans donner accès au mécanisme de recherche complet. Pour apprécier la suite, il faudra distinguer les gains mesurés sur des tâches précises de leur reproductibilité et de leur utilité dans d’autres contextes. Merci de garder en tête cette distinction entre les résultats annoncés, les outils accessibles et ce qui reste à vérifier.