OpenAI rend son API Decisions accessible à tous ses clients pour la première fois, lançant un défi direct au modèle Jev de TypeSafe sur le marché naissant de l'intelligence artificielle rapide et bon marché. Ce mouvement, rapporté par TechCrunch, fait suite à l'annonce initiale du produit lors de la journée développeurs d'OpenAI le 29 septembre.
L'API Decisions appartient à une catégorie de modèles dits de décision, ou modèles Système 1. Ils agissent comme des super-classificateurs : face à un ensemble d'options, ils font des choix rapides et proposent une note de confiance. Les développeurs ont découvert qu'ils pouvaient remplacer les grands modèles de langage dans de nombreux flux de travail, avec une vitesse bien supérieure et un coût nettement moindre, un basculement qui a aidé TypeSafe à atteindre une valorisation de 7,6 milliards de dollars.
Comment fonctionne l'API Decisions d'OpenAI
Plutôt que de concevoir un modèle de décision dédié, OpenAI a reconfiguré ChatGPT Luna pour accélérer l'inférence et réduire les coûts. Nikunj Handa, responsable produit des API d'OpenAI, a déclaré à TechCrunch que l'équipe avait agi vite après avoir constaté le potentiel de Jev. « Le grand atout de l'API Decisions, c'est la vitesse : nous sommes passés d'une à trois secondes à 100, 120, 180 millisecondes », a-t-il expliqué.
La version publique ajoute de nouveaux modes vocaux et visuels, et OpenAI a réparti géographiquement ses ressources d'inférence pour réduire la latence dans le monde entier. Lors des premiers essais, des clients comme Box, Datadog, Ramp et Speak ont utilisé l'API pour remplacer les grands modèles de langage d'OpenAI avec un débit plus élevé.
Vitesse de l'API Decisions et premiers résultats clients
Andrew Hsu, directeur technique de Speak, l'application de tutorat linguistique, a indiqué que l'API Decisions avait réduit le délai entre les actions de 1,4 seconde à 0,13 seconde. OpenAI a également utilisé le produit pour améliorer la réactivité de son assistant vocal Dots.
