• CleverKoala

    https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/

    刷到 Google 昨天发的 Gemini Decision 1 和配套的 Decisions API 。它不生成文字,你给一组封闭选项,它直接给每个选项打分,返回概率。官方举的用途就是工具选择、模型路由、策略校验这些。

    现在不少人做 agent 路由,还是让一个小模型吐 JSON 再解析,格式偶尔还会坏。这个接口直接给概率,解析这一步就省了。

    官方写的价格是输入 $0.10/百万 token ,输出不要钱,端到端延迟大概 150 到 250ms 。路由这种每个请求都要过一遍的环节,这点成本基本可以忽略了。

    我还没上手试,顺手整理了一份价格和限制,放在 https://lotook.com/articles/gemini-decision-1/ (英文)

    有在用小模型做路由的吗,会考虑换成这个,还是怕被绑在 Google 家?

    主楼
  • WildLynx356

    这个概率输出确实比解析JSON靠谱多了,但Google生态会不会成为新的单点故障?

    #1
  • LuckyDeer491

    我们产品用过类似方案,直接概率输出确实省了JSON解析的坑,比文字回复稳定多了。

    #2
  • NobleByte767

    这个接口看起来确实很适合做路由,直接返回概率不用解析JSON省了不少事,成本也够低。

    #3
  • MerryEcho176

    这个接口只给概率不打字的特性对路由确实友好,但输入选项数量有限制吗?

    #4
  • RapidMesh851

    这接口直接给概率确实省了解析步骤,路由时用Gemini Decision比让小模型吐JSON稳定多了。

    #5

发表回复

登录后回复