跳至内容
Back to InsightsAI Architecture

水星通量:我们商业代理背后的 AI 路由层

By James Huang2026年9月2日·Updated 2026年9月4日8 min read

每个部署 AI 代理的公司在十二个月内都会面临一个问题:当你有五个代理在运行时——一个购物助手、一个目录经理、一个分析师、一个文案撰写者、一个支持机器人——每个代理使用哪个模型?

默认答案是构建它的团队喜欢的任何模型。五个应用程序,五个硬编码的模型选择,五份相同 API 密钥的副本在五个 .env 文件中,五个看不见的账单。当一个提供商出现故障时,五个应用程序独立失败。当财务部门询问每条产品线的 AI 成本时,没有人能回答。

我们拒绝接受这种架构,因此我们构建了修复它的层。这是关于水星流 — 我们的模型路由引擎 — 以及在其上运行的商务代理的故事。这也是我们如何为企业客户部署智能代理AI的预览。

简而言之:将模型硬编码到每个AI应用程序中就像将密码硬编码到源代码中一样。水星流是一个AI路由层,位于每个代理和每个模型提供者之间 — Gemini、GLM、Grok、Kimi,任何一个:每个应用程序使用自己的密钥进行身份验证,获取自己的路由表(任务类型 → 模型 → 回退链),并报告自己的令牌使用情况。我们的商务代理 — 一个面向客户的购物助手和一个后端商家代理,其中每个写入都等待人工批准 — 在这个堆栈上运行,成本大约为$0.07每百万个混合令牌,约占零售API成本的2%相同的技术栈为我们 AI 可见性工作的 SEO 和 GEO 管道提供支持。路由器决定模型。应用程序永远不会知道。这就是关键。

我是詹姆斯,水星科技解决方案的首席执行官。我们为企业构建 AI 与人类之间的桥梁,并以一种使架构决策不可或缺的规模运营自己的代理舰队——每月约 180 亿个令牌。Flux 是保持这一切经济可行、可观察和可控的路由引擎。今天我将向您展示它的功能,以及为什么商业代理是它的第一个真正客户。

问题:模型扩散

2026 年的 AI 应用栈缺少一层,大多数团队感受到了这一点却无法命名。

您有模型提供者——优秀的提供者,数量不断增加:谷歌、OpenAI、Anthropic,以及一波强有力的竞争者。您有代理框架。缺少的是决定的部分哪个模型,针对哪个工作负载,以什么成本,具有什么后备,向谁收费。

没有这一层,每个应用程序都成为自己的路由决策,由开发人员在代码中一次性做出。后果悄然累积:

  • 成本盲目。五个应用,五个提供商账户,没有统一视图。没有人能说出购物助手的成本与支持机器人相比如何。
  • 关键扩散。每个应用都持有原始提供商密钥。旋转一个密钥意味着要在每个代码库中寻找。一次泄露就是整个账户的泄露。
  • 没有故障转移。提供商下午状态不佳,所有硬编码它的应用都会随之崩溃。
  • 模型锁定。将工作负载切换到更好或更便宜的模型意味着需要修改应用代码——所以这不会发生,你将永远支付过高的费用。

问题不在于模型不够好,而在于架构没有选择的能力。

水星通量:选择的层

通量是你代理与模型提供者之间的一层薄而无情的屏障。设计可以用一段话来概括:

每个应用程序都使用自己的密钥对通量进行身份验证——绝不使用提供者密钥。每个请求携带一个路由名称而不是模型名称:工具循环用于工具调用工作,长文本用于草拟,分析以进行深度推理。Flux 根据该应用的表解析路线——一个有序链,如Grok 用于工具纪律,GLM 作为后备——添加真实的提供者凭证,并转发调用。每个请求都记录了每个应用、每条路线的令牌核算。提供者出现故障时,Flux 会自动切换。模型价格变化时,您只需编辑表格。应用程序从未察觉。

把它想象成 AI 的电气面板:来自公用事业(提供者)的一个输入,每个电路(应用)的一个断路器,以及每条线路上的一个计量器。您不需要重新布线来关闭一盏灯。

经济效益来自于路由本身。工具循环在为功能调用纪律选择的 AI 模型上运行。长格式生成在每个令牌成本最低的地方运行。只有在任务实际需要时,困难推理才会获得前沿模型。在我们的整个队列中——商业代理、SEO 内容管道、我们为企业客户提供的 GEO 审计——这合计为每百万 $0.07 的混合费率:比同样的 LLM 量在高端零售定价下的成本低两个数量级。一次在表格中做出的路由决策,而不是在代码中永远不做。

首批租户:商业代理

Flux 的第一个生产工作负载是我们为零售部署构建的一对商业代理,基于我们加固并扩展的开放参考蓝图。

购物代理 是面向客户的。它搜索目录,比较选项,计划购买,填充购物车,并回答订单和政策问题——记住客户告诉它的内容。它是商店对当前正在发生的变化的回应:曾经向谷歌询问“最佳双人帐篷”的买家越来越多地直接询问 ChatGPT、Perplexity 或 Gemini,并期望商店的助手比搜索结果更聪明。它快速、耐心,从不厌倦“这两个中哪个更适合小阳台?”

商家代理 是后台的。它解释绩效,维护列表,处理库存警报,调整定价,起草活动。而这里是对企业来说重要的部分:每一次写入都是已准备的,而不是执行的。 价格变动、补货、列表编辑——每一个都作为提议的更改,等待人类通过审批界面进行批准。代理提出;操作员处理。

我们最自豪的部分是底层的安全架构,因为这是演示中从未向您展示的部分:

  • 来源门。购物车仅接受本次会话中目录工具实际返回的产品。模型无法虚构购买。
  • 应用时的保护措施。价格变动过大,补货量过大,受保护字段被触及——无论谁批准,变更都被拒绝。
  • 受限上下文。代理读取的第三方文本经过清理和分隔,以防恶意产品描述注入指令。代理读取网络;网络无法读取代理。

这是我们为生计构建的AI与人类之间的桥梁:AI完成工作,人类批准写入。不是一个附加在商店上的聊天机器人——这是一个在设计上将自主性和责任分开的系统。

路由为我们带来了什么:实时比较

因为 Flux 将路由与应用代码分离,我们通过编辑一行配置将相同的购物代理工作负载运行在两个不同的模型上。结果差异显著。

一个模型——在散文方面表现强劲——却在工具合约上出现失误:格式错误的技能调用、重复搜索、未完成的购买。另一个模型则干净利落地处理了相同的枚举模式,第一次尝试就加载了操作指令,并完成了从搜索到购物车的完整流程——同时正确遵循了其技能手册中的一条规则即研究在写入购物车之前需要呈现当前发现。相同的代理,相同的网关,相同的提示。只有模型不同,而模型正是路由层让你可以更改的内容。

将这一比较乘以每个工作负载、每个客户、每个季度。模型不断改进和重新定价;能够在几秒钟内重新路由的团队将始终优于那些计划在下一个冲刺中重构的团队。Flux 将模型选择从架构承诺转变为配置行。

这对企业的重要性

如果你正在部署代理 AI——无论是商业还是其他——有三个影响:

  1. 每个应用模型路由是基本要求。工作负载决定AI模型:工具纪律用于代理,便宜的长上下文用于内容,仅在判断时使用前沿。路由层使其成为政策,而不是每个应用的意外。
  2. 密钥和成本应放在一个地方。应用程序向路由器进行身份验证;只有路由器持有提供者凭证。令牌代谢按应用、按路由进行测量——因此“每个产品线的AI成本是多少?”成为一个查询,而不是法医审计。将其视为核心数字化转型基础设施,而不是营销工具。
  3. 自主性需要审批门。写入生产系统的代理——购物车、目录、价格——需要分阶段的变更和人类批准作为架构特性,而不是提示建议。我们运行的商业蓝图证明它在真实工具调用负载下有效。

在AI与人类之间的43%的潜在客户流失?它们流失是因为公司部署了全人类(慢)或全AI(不负责任)系统。桥梁是分阶段的自主性:有效的机器、批准的人类,以及一个保持整体可负担的路由层,以便实际部署——无论工作负载是商业、SEO,还是使品牌在AI回答时可引用的地理程序。

那是 水星通量一个路由器。每个代理。它自己的模型,它自己的账单,它自己的断路器。

水星科技解决方案:加速数字化。