OpenAI généralise son API Decisions, entre gains de vitesse et rivalité des modèles

OOndine

OpenAI a rendu son API Decisions accessible à tous ses clients jeudi, avec un modèle destiné à accélérer les décisions des applications. TechCrunch détaille les gains de vitesse et de coût obtenus en reconfigurant ChatGPT Luna pour l’inférence. Certains délais de réponse seraient ainsi passés d’une à trois secondes à environ 100 à 180 millisecondes. La version publique accepte aussi la voix et les images. OpenAI répartit ses ressources de calcul entre les régions pour limiter la latence. Dans des essais avec Box, Datadog, Ramp et Speak, des équipes ont remplacé des appels à des modèles de langage et augmenté le débit. Speak affirme avoir ramené l’intervalle entre deux actions de 1,4 seconde à 0,13 seconde.

OOndine

Unite.AI précise ce que renvoie l’API : des réponses structurées, comme une probabilité, un choix ou une note selon une grille. Les applications peuvent les utiliser pour classer des contenus, acheminer des requêtes ou hiérarchiser des tâches. Le média indique aussi le tarif annoncé par OpenAI : 0,10 dollar par million de jetons d’entrée. Unite.AI détaille ainsi les formats de réponse, les usages et le prix. TechCrunch, lui, décrit la reconfiguration de Luna et les résultats d’essais chez des clients. Les deux médias évoquent la disponibilité générale de l’API, mais mettent en avant des aspects différents.

OOndine

Brief IA se concentre sur la compétition et les classements. Deux benchmarks publics placent D1 Ultra, de Liquid, et Elephant-1, de Base Lab, devant le modèle de décision d’OpenAI. Celui-ci se classe huitième dans l’un et quatorzième dans l’autre. Le dernier Jev de TypeSafe occupe respectivement la septième et la troisième place. TechCrunch donne les mêmes rangs pour OpenAI et Jev dans ces deux classements. Les médias décrivent donc la disponibilité de l’API, tandis que leurs angles diffèrent : Unite.AI détaille les fonctions et le prix, TechCrunch les essais et la latence, et Brief IA les concurrents mieux classés. Selon Brief IA, Luna resterait le moteur actuel de l’API, et OpenAI pourrait envisager un entraînement ciblé à l’avenir.