OpenAI首次向用户广泛开放其Decisions API模型，进入快速、廉价智能市场。该市场近期因前前沿实验室研究员创立的初创公司TypeSafe凭借Jev模型成为一家价值76亿美元的公司而兴起。
TypeSafe的Jev模型开创了深度学习模型作为超级分类器的类别：给定一组选项，它们能快速做出选择并提供决策的置信度评分。软件开发者很快发现，这些决策或系统一模型可以在多种工作流中取代大语言模型，运行更快且成本大幅降低。
OpenAI API产品负责人Nikunj Handa告诉TechCrunch，他的同事看到Jev后说“哇，我们好像有一百万个用例适合这个”。Handa的团队迅速推出了自己的版本：他们没有构建专门校准的决策模型，而是采用ChatGPT Luna并重新配置，以加快推理并降低成本。
“Decisions API的最大突破在于速度，将响应时间从1到3秒缩短到100、120、180毫秒，”Handa说。“未来，我们可能会进行特定训练，让我们的模型在这些方面表现更好。但现在，就是普通的Luna完成了这项工作。”
该API于9月29日公司开发者日上宣布，周四向所有客户开放。OpenAI在公开版本中增加了新的语音和视觉模态，并通过在全球各地针对性部署推理资源，确保各地区延迟更低。
在与Box、Datadog、Ramp和Speak等客户的初始试验中，工程师使用该API以更高吞吐量取代OpenAI的大语言模型。构建AI语言辅导的Speak公司CTO Andrew Hsu表示，Decisions API使公司将操作间隔时间从1.4秒缩短到0.13秒。OpenAI还用该产品提升了其Dots语音助手的响应速度。
不过，目前尚不清楚究竟什么才是优秀的决策模型，除了“对你有效”之外——在智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe首席执行官Diogo Almeida不信任基准测试，敦促人们在自己的工作中试用这些模型，但即便如此，TypeSafe上周在发布最新Jev模型时也发布了自己的排名，该模型包括对图像的支持和智能if语句等新功能。
像AIM System One Index和Artificial Analysis Decision Index这样的公开基准测试往往青睐Liquid上周发布的新决策模型D1 Ultra，以及Base Lab的Elephant-1。最新Jev模型在这两个指数上仍具竞争力，分别位列第七和第三，而OpenAI的Decision Model分别位列第八和第十四。不过，TypeSafe的产品目前在OpenRouter上查询量最大。
最有趣的Jev基准测试是JevMan，这是一个决策模型玩吃豆人的基准；最新Jev模型在该排名中位居榜首。构建该基准的Opper AI首席增长官Felix Wunderlich表示，这款经典游戏“是一个有趣的测试，因为它需要持续不断的快速、高风险决策。在每个路口，模型必须在几百毫秒内决定去哪里。”
OpenAI这个可以说能力更强的模型可能在多模态方面具有优势——对于图像分类，“Luna非常强大，并且一直表现出更好的校准，”Handa告诉TechCrunch，并补充说OpenAI客户希望Decisions API在使用图像作为输出方面更加灵活。
Handa还看到速度的进一步提升将开启新用例：“我们能否把它做到比如60毫秒，然后你就能想象像对视频中的每一帧都进行一次API调用那样的场景？”
随着这些产品变得更快更便宜，我们可以期待它们兑现Jev名字的由来——一位经济学家解释了如何更高效地使用一种资源会使其更加普及。或者，正如Handa所看到的，将会出现不断扩大的“疯狂用例集”，这些用例一直隐藏在眼前，直到决策模型将它们揭示出来。
当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不影响我们的编辑独立性。
Tim Fernholz是一位撰写科技、金融和公共政策的记者。他密切报道了私营航天产业的崛起，并著有《火箭亿万富翁：埃隆·马斯克、杰夫·贝索斯与新太空竞赛》。此前，他在全球商业新闻网站Quartz担任高级记者十余年，职业生涯始于华盛顿特区的政治记者。
您可以通过发送电子邮件至[email protected]或通过加密消息发送至Signal上的tim_fernholz.21联系或验证Tim的外联。
查看简介