跳至內容
Back to InsightsAI Architecture

水星流量:我們商務代理背後的 AI 路由層

By James Huang2026年9月2日·Updated 2026年9月4日8 min read

每個部署 AI 代理的公司在十二個月內都會面臨一個問題:當你有五個代理運行時——一個購物助手、一個目錄管理員、一個分析師、一個文案撰寫者、一個支持機器人——每個代理使用哪個模型?

預設答案是建造它的團隊喜歡的任何模型。五個應用程式、五個硬編碼的模型選擇、五份相同的 API 金鑰在五個 .env 檔案中、五個看不見的帳單。當提供者發生故障時,五個應用程式獨立失敗。當財務部門詢問每個產品線的 AI 成本時,沒有人能回答。

我們拒絕接受那種架構,因此我們建立了修正它的層。這是關於水星流量 — 我們的模型路由引擎 — 以及在其上運行的商務代理的故事。這也是我們如何為企業客戶部署代理式人工智慧的預覽。

簡而言之: 將模型硬編碼到每個人工智慧應用程式中就像將密碼硬編碼到源代碼中一樣。水星流量 是一個人工智慧路由層,位於每個代理和每個模型提供者之間 — Gemini、GLM、Grok、Kimi,任何一個:每個應用程式都用自己的金鑰進行身份驗證,獲得自己的路由表(任務類型 → 模型 → 備援鏈),並報告自己的令牌使用情況。我們的商務代理 — 一個面向客戶的購物助手和一個後台商家代理,其中每次寫入都需要人類批准 — 在這個堆疊上運行,成本約為$0.07 每百萬個混合令牌,大約是零售 API 成本的 2%相同的技術堆疊支撐著我們 AI 可見性工作的 SEO 和 GEO 管道。路由器決定模型。應用程式永遠不會知道。這就是重點。

我是 James,水星科技解決方案的 CEO。我們為企業建立 AI 與人類之間的橋樑,並以規模運行我們自己的代理艦隊,使架構決策成為必須 — 每月約 180 億個標記。Flux 是保持這一切可負擔、可觀察和可控的路由引擎。今天我將向您展示它的功能,以及為什麼商務代理是它的第一個真正客戶。

問題:模型擴散

2026 年的 AI 應用堆疊缺少一層,大多數團隊感受到這一點卻無法具名。

您有模型提供者 — 優秀的模型不斷增加:Google、OpenAI、Anthropic,以及一波強勁的挑戰者。您有代理框架。缺少的是決定的部分哪個模型,針對哪個工作負載,以什麼成本,具備什麼備援,向誰計費。

沒有這一層,每個應用程式都成為自己的路由決策,由開發者在程式碼中一次性做出。後果悄然累積:

  • 成本盲點。五個應用程式,五個供應商帳戶,沒有統一的視圖。沒有人能說出購物助手的成本與支援機器人之間的差異。
  • 關鍵擴散。每個應用程式都持有原始的供應商金鑰。旋轉一個金鑰意味著要在每個代碼庫中搜尋。一個洩漏就是整個帳戶的洩漏。
  • 沒有故障轉移。供應商有一個糟糕的下午,而每個硬編碼的應用程式都會隨之崩潰。
  • 模型鎖定。將工作負載切換到更好或更便宜的模型意味著需要觸及應用程式代碼——因此這不會發生,你將永遠支付過高的費用。

問題不在於模型不夠好,而在於架構沒有選擇的能力。

水星通量: 選擇的層

通量是一個薄而無情的層,位於您的代理和模型提供者之間。設計可以用一段話來概括:

每個應用程式都使用自己的金鑰對通量進行身份驗證——絕不使用提供者金鑰。每個請求攜帶路由名稱而不是模型名稱:工具循環 用於工具調用工作,長文本 用於草擬,分析以進行深度推理。Flux 根據該應用程式的表格解析路由 — 一個有序的鏈,如 Grok 用於工具紀律,GLM 作為備用 — 添加真實的提供者憑證,並轉發呼叫。每個請求都會根據每個應用程式、每個路由的令牌進行記錄。提供者出現故障時,Flux 會自動切換。模型價格變動時,你只需編輯表格。應用程式從未察覺。

把它想像成 AI 的電氣面板:來自公用事業(提供者)的單一供應,每個電路(應用程式)都有一個斷路器,每條線上都有一個計量器。你不需要重新布線來關掉一盞燈。

經濟效益來自於路由本身。工具循環在選擇的 AI 模型上運行,以實現功能調用的紀律。長格式生成在每個令牌成本最低的地方運行。只有在任務實際需要時,艱難的推理才會獲得前沿模型。在我們的整個艦隊中 — 商務代理、SEO 內容管道、我們運送給企業客戶的 GEO 審核 — 這些都累積到每百萬 $0.07 的綜合費率:比同樣的 LLM 量在高端零售定價下的成本低兩個數量級。一次在表格中做出的路由決策,而不是在程式碼中從未做出。

首批租戶:商務代理

Flux 的第一個生產工作負載是一對我們為零售部署構建的商務代理,基於我們加固並擴展的開放參考藍圖。

購物代理人 是面向客戶的角色。它搜尋目錄、比較選項、計劃購買、填充購物車,並回答訂單和政策問題——記住客戶告訴它的內容。它是商店對當前變化的回應:曾經向 Google 詢問「最佳雙人帳篷」的買家,越來越多地直接詢問 ChatGPT、Perplexity 或 Gemini,並期望商店的助手比搜索結果更為精確。它快速、有耐心,並且從不厭倦「這兩個中哪一個更適合小陽台?」

商家代理人 是後台角色。它解釋績效、維護列表、處理庫存警報、調整定價、起草活動。而這裡是對企業最重要的部分:每一次寫入都是擬議的,而不是執行的。 價格變更、補貨、列表編輯——每一項都作為擬議變更,等待人類通過批准界面進行批准。代理人提出建議;操作員決定處理。

底層的安全架構是我們最自豪的部分,因為這是演示中從未向您展示的部分:

  • 來源閘道。購物車僅接受本次會話中目錄工具實際返回的產品。模型無法幻想出購買。
  • 應用時的防護措施。價格變動過深,補貨過大,受保護的欄位被觸及——無論誰批准,變更都會被拒絕。
  • 受限的上下文。代理讀取的第三方文本經過清理和分隔,因此惡意的產品描述無法注入指令。代理讀取網頁;網頁無法讀取代理。

這就是我們為生計所建立的 AI 與人類之間的橋樑:AI 進行工作,人類批准寫入。不是一個附加在商店上的聊天機器人——而是一個在設計上將自主性和責任分開的系統。

路由為我們帶來的:實時比較

因為 Flux 將路由與應用程式代碼分開,我們通過編輯一行配置,將相同的購物代理工作負載運行在兩個不同的模型上。結果差異顯著。

一個模型 — 在散文方面表現強勁 — 卻在工具合約上失誤:格式錯誤的技能調用、重複的搜索、未完成的購買。另一個模型則乾淨地處理了相同的枚舉架構,第一次嘗試就加載了其操作指令,並完成了從搜索到購物車的完整流程 — 同時正確遵循其技能手冊中的一條規則該規則指出研究在寫入購物車之前必須呈現當前的發現。相同的代理,相同的閘道,相同的提示。只有模型不同,而模型正是路由層讓你改變的東西。

將這一比較乘以每個工作負載、每個客戶、每個季度。模型不斷改進和重新定價;能夠在幾秒鐘內重新路由的團隊將始終超越那些計劃在下個衝刺中進行重構的團隊。Flux 將模型選擇從架構承諾轉變為配置行。

這對企業為什麼重要

如果你正在部署代理式 AI — 商業或其他 — 有三個含義:

  1. 每個應用程式的模型路由是基本要求。工作負載決定 AI 模型:工具紀律用於代理,便宜的長上下文用於內容,前沿僅用於判斷。一個路由層使這成為政策,而不是每個應用程式的意外。
  2. 金鑰和成本應該放在同一個地方。應用程式向路由器進行身份驗證;只有路由器持有提供者憑證。令牌代謝按應用程式和路由計算——因此「每個產品線的 AI 成本是多少?」成為一個查詢,而不是法醫審計。將其視為核心數位轉型基礎設施,而不是行銷工具。
  3. 自主性需要批准門檻。寫入生產系統的代理——購物車、目錄、價格——需要階段性變更和人類批准作為架構特徵,而不是提示建議。我們運行的商務藍圖證明它在實際工具調用負載下有效。

那 43% 的潛在客戶因 AI 與人類之間的差距而流失?它們流失是因為公司部署了全人類(慢)或全 AI(無法負責)系統。橋樑是階段性自主性:運作的機器、批准的人類,以及一個保持整體可負擔的路由層,以便實際部署——無論工作負載是商務、SEO,還是使品牌在 AI 回答時可引用的 GEO 程式。

那是 水星流量一個路由器。每個代理。它自己的模型,它自己的帳單,它自己的斷路器。

水星科技解決方案:加速數位化。