OpenAI généralise son API Decisions

LLéna

OpenAI a rendu jeudi son API Decisions accessible à tous ses clients, à la fin de sa bêta publique, après l’avoir annoncée le 29 septembre lors de sa journée développeurs, selon TechCrunch. L’API, propulsée par Luna, fournit des réponses structurées, comme une probabilité, un choix ou un score défini par une grille, pour aider les applications à classer des contenus, acheminer des requêtes et prioriser des tâches. OpenAI annonce un tarif de 0,10 dollar par million de jetons d’entrée, selon Unite.AI ; la version publique prend aussi en charge les entrées vocales et les images, et des ressources de calcul sont réparties entre plusieurs régions pour réduire les délais. TechCrunch indique qu’OpenAI a reconfiguré Luna afin d’accélérer l’inférence et de diminuer les coûts ; l’entreprise dit avoir fait passer certains temps de réponse d’une à trois secondes à environ 100 à 180 millisecondes. Lors d’essais chez Box, Datadog, Ramp et Speak, les équipes ont utilisé l’API pour remplacer des appels à des modèles de langage et augmenter le débit ; Speak affirme que le délai entre deux actions est passé de 1,4 seconde à 0,13 seconde. Les résultats des benchmarks sont plus mitigés : le modèle de décision d’OpenAI est huitième et quatorzième dans deux classements publics, tandis que Jev, le modèle de TypeSafe, arrive respectivement septième et troisième, selon Brief IA. Luna reste le moteur de l’API, et OpenAI pourrait envisager un entraînement ciblé à l’avenir ; l’entreprise utilise aussi Decisions pour rendre son assistant vocal Dots plus réactif.