Google 推出 Gemini Decisions API:单次前向传播评估千个问题,延迟降至 150 毫秒

Google 推出专为 AI Agent 设计的 Gemini Decisions API,通过单次前向传播在 150 毫秒内评估多达 1,000 个问题,输入定价为每百万 token 0.10 美元,在吞吐量与多模态上下文上形成差异化优势。

朋克君
发布者朋克君
预计阅读 2 分钟
我要投稿
AI 摘要
约 1 分钟

快速了解本文

01

Google 推出 Gemini Decisions API,单次请求可评估千个问题。

02

采用单次前向传播机制,端到端延迟控制在 150 至 250 毫秒。

03

定价为每百万输入 token 0.10 美元,支持 256K 多模态上下文。

本摘要由 AI 辅助整理,请以正文内容为准。

数智朋克讯 Google 推出由 Gemini Decision 1 模型驱动的 Gemini Decisions API,专为 AI Agent 的快速、预定义决策设计。该 API 支持在单次请求中评估多达 1,000 个独立问题,端到端延迟控制在 150 至 250 毫秒之间。

01技术机制与性能表现

区别于传统大模型的自回归文本生成机制,Gemini Decisions API 采用单次前向传播评分机制。它可直接对 yes/no 检查、最多 255 个选项的多选题或基于预定义标准的评分任务返回概率和置信度分数,无需逐字生成文本。在性能表现上,其中位模型计算时间为 50 至 100 毫秒,且在处理 1 到 100 个问题时性能几乎保持不变。此外,该模型支持高达 256,000 tokens 的上下文窗口,可同时处理文本、图像、音频、视频和 PDF 等多模态共享输入。

02定价策略与市场对比

在定价策略上,该 API 收费为每百万输入 token 0.10 美元,不收取输出 token 费用,且对共享输入数据仅计费一次。这一价格与 OpenAI 于今年 10 月推出的 GPT-6 Luna 驱动的 Decisions API 保持一致,反映出该细分市场的价格锚点已初步形成。相比之下,OpenAI 的同类产品支持每次请求 400 个问题,Google 则凭借 1,000 个问题的并发处理能力和 256K 的多模态上下文窗口,在单次请求的吞吐量和复杂输入支持上占据参数优势。

03内部部署与开发者集成

目前,Google 已在内部多款产品中部署该 API。其中,Gemini Notebook 借此路由查询以降低 40% 延迟,Stitch 用于快速设计实验,CC assistant 实现毫秒级 emoji 选择,Google Search 则用于检测 MCP 工具的对抗行为。该 API 现已通过 Google AI Studio 提供并包含免费层,同时正集成至 OpenRouter、LangChain、Vercel、LiteLLM 和 Pydantic AI 等开发者平台。

RELATED STORIES

继续阅读

围绕「Gemini Decisions API」,继续阅读相关内容。

ARTICLE RECORD

转载说明

转载请注明文章出处。

TOPICS · 05

文章标签