OpenAI mesure les progrès de ses modèles en programmation et sur COBOL

TThéa

The Decoder décrit deux évaluations distinctes utilisées pour mesurer les progrès annoncés par OpenAI. La première s’appelle MultiLangBench : elle mesure la création d’un moteur compatible avec SQLite dans 20 langages de programmation. GPT-6 Astra obtient un taux moyen de réussite de 87,4 %, contre environ 38 % pour GPT-5.6 Terra, tandis que GPT-6 Luna atteint 40,3 %. La seconde évaluation concerne la migration de programmes en COBOL et vérifie que leur comportement est préservé après traduction vers C++, Java, Kotlin, Python ou Rust. GPT-6.1 Sol atteint 86,6 % à faible effort de raisonnement, contre 5,4 % pour GPT-5.6 Sol, et son score monte à 97,9 % avec un effort élevé. OpenAI présente ces résultats comme des améliorations pour des langages peu représentés dans les données d’entraînement, et annonce de nouvelles évaluations en génie logiciel, autour de SQLite et de la migration de COBOL. Il faut garder en tête que ces pourcentages correspondent à des épreuves précises : ils ne décrivent pas un résultat unique, obtenu par le même modèle dans les mêmes conditions.

TThéa

MultiLangBench demande à un modèle de créer un moteur compatible avec SQLite dans chacun des 20 langages évalués. Le résultat de cette tâche est examiné à partir d’une base de données initiale et d’une requête, afin de vérifier que la base produite contient les données attendues. Le test de migration de COBOL porte sur une autre exigence : traduire un programme tout en préservant son comportement. Pour qu’une migration soit considérée comme réussie, tous les tests doivent passer et les sorties observables doivent correspondre exactement. Cette vérification peut repérer des différences liées, par exemple, à l’arithmétique à virgule fixe. Ces évaluations ne demandent donc pas seulement si le programme traduit peut être exécuté : elles vérifient aussi les résultats observables. Elles fournissent deux mesures distinctes, l’une centrée sur la création d’un moteur de base de données dans plusieurs langages, l’autre sur la préservation du comportement d’un programme COBOL migré. Cette différence compte pour lire les scores : un résultat sur MultiLangBench n’est pas directement un résultat de migration, et le pourcentage obtenu à l’un des tests ne permet pas de remplacer celui de l’autre.

TThéa

Les évaluations portent sur des langages que les données d’entraînement représentent moins bien, et OpenAI les présente comme des progrès dans ce domaine. Les résultats citent notamment COBOL, tandis que MultiLangBench couvre 20 langages. Pour la migration de COBOL vers C++, Java, Kotlin, Python ou Rust, le taux annoncé à faible effort de raisonnement atteint 86,6 %, contre 5,4 % pour GPT-5.6 Sol. Le coût d’utilisation de l’interface de programmation applicative, ou API, est estimé inférieur de 39 % dans cette comparaison. Ces chiffres donnent une indication sur les performances annoncées dans les conditions du test et sur le coût estimé de l’usage de l’API. Ils ne donnent pas un coût complet de migration : le chiffre fourni porte sur l’API. Il faut donc distinguer cette estimation de coût des pourcentages de réussite, et ne pas les confondre avec une mesure générale du budget d’un projet. De même, les résultats présentés concernent les conditions précises de l’évaluation ; ils ne permettent pas, à eux seuls, de savoir quel serait le coût ou le taux de réussite pour tout autre programme COBOL. L’annonce apporte ainsi des données comparables sur ces tests, mais ne chiffre pas toutes les étapes d’une migration.

TThéa

La première précaution, c’est de distinguer les modèles évalués. GPT-6.1 Sol obtient 97,9 % sur la migration de COBOL avec un effort de raisonnement élevé, alors que le même modèle atteint 86,6 % à faible effort. Ces deux nombres ne correspondent donc pas aux mêmes conditions, et ils ne doivent pas être présentés comme deux résultats directement interchangeables. L’effort de raisonnement est une condition de comparaison : le chiffre de 97,9 % est associé à un effort élevé, tandis que le résultat de 86,6 % est annoncé à faible effort. Les résultats varient selon le modèle et les conditions d’évaluation. Le test porte sur la traduction de COBOL vers C++, Java, Kotlin, Python ou Rust. La formulation la plus précise consiste donc à donner le modèle, la tâche et la condition avec chaque score. Cela évite de laisser croire qu’un seul résultat établit le même niveau de réussite dans toutes les situations.

TThéa

Il faut retenir deux résultats séparés et deux façons de tester. MultiLangBench évalue la création d’un moteur compatible avec SQLite dans 20 langages ; GPT-6 Astra y obtient un taux moyen de réussite de 87,4 %, contre environ 38 % pour GPT-5.6 Terra, tandis que GPT-6 Luna atteint 40,3 %. Le test de migration de COBOL examine si le comportement du programme est préservé après traduction vers C++, Java, Kotlin, Python ou Rust : tous les tests doivent passer et les sorties observables doivent correspondre exactement. GPT-6.1 Sol atteint 97,9 % dans ce test avec un effort de raisonnement élevé. À faible effort, son taux annoncé est de 86,6 %, contre 5,4 % pour GPT-5.6 Sol, avec un coût d’API estimé inférieur de 39 %. Ces chiffres décrivent des modèles, des tâches et des conditions d’évaluation précis. Ils montrent des progrès annoncés sur des langages peu représentés, mais ne doivent pas être mélangés ni étendus au-delà de ce que mesurent les tests. La méthode de migration vérifie la préservation du comportement au moyen des sorties et des tests ; elle apporte donc un critère explicite pour comparer les résultats. L’essentiel est de lire chaque pourcentage avec son contexte, plutôt que de retenir un score isolé comme une mesure générale de la programmation ou de toute migration de COBOL.