一直以來，尋找最強大且成本最低的模型都是目標。但隨著代理式 AI 的演進，一個新問題正困擾著工程師：AI 系統中的 token 消耗量正變得過高。每個代理操作都會消耗 token，但方式大不相同。例如，一個中等複雜度的代理請求可能在其推理鏈中消耗 20,000 到 60,000 個 token，而一個非平凡的工程任務每題可能燒掉 150,000 到 200,000 個 token。

每個代理操作都會消耗 token，但方式大不相同。

開發人員逐漸意識到，選擇正確的模型固然重要，但更大的問題在於限制代理工作流程中不必要的 token 移動。這也是為什麼團隊開始思考如何用更少的 token 完成相同任務。

代理間的複合成本

成本累積得非常快。一個單一代理只需約 50,000 個 token 的任務，若由多個專門代理共同處理，輕易就能消耗數十萬 token。這是因為每個代理都需要足夠的上下文才能完成工作。一個代理處理 30,000 個 token 的上下文，只為了回傳 500 個 token 的回應，這種情況並不罕見，而這些交換會在整個工作流程中累積。每一次交接實際上都支付了一筆輸入 token 的「稅」，且會隨著每次迴圈迭代而複合增加。

每一次交接實際上都支付了一筆輸入 token 的「稅」，且會隨著每次迴圈迭代而複合增加。

這種情況在多代理架構中特別明顯。當一個代理委派任務給另一個代理時，它必須將當前狀態與任務指令編碼到下游代理的上下文視窗中。接收代理處理完所有內容後產生結果，再傳回來。接著，協調代理會將其與自己正在追蹤的所有內容一起重新吸收。每一次交換都會增加另一層額外負擔。

建構更節省 token 的架構

越來越多策略正在解決這個問題。以下三個實用解決方案特別突出：

壓縮上下文，保留推理

最直接的解決方案是減少代理在每一步之間攜帶的上下文量。系統可以總結對話或工作記憶中較早的部分，再傳遞給下一步，而不是累積不斷增長的互動歷史並在每次任務中重播。

其中一種做法是縮小代理的視野範圍。系統不會把整個程式碼庫或文件集合交給代理，而是只呈現與當前任務相關的內容。不過如果縮減過度，代理可能會失去之後需要的關鍵上下文。

為了讓這套機制運作，系統需要一個包含關鍵事實與決策的精簡記憶層，與壓縮後的上下文並存。代理必須能在不每次重讀的情況下回想起推理鏈。

將任務路由至較便宜的模型

階層式路由讓工程師可以解析 JSON 回應、格式化日誌條目，或檢查檔案是否存在，而不必使用與系統設計同級的模型。它會將每個子任務指派給能可靠完成工作的最小模型。例如，輕量模型負責例行分類、提取與格式化步驟，而更適合的模型則處理真正需要深度推理的決策。

因此，如果代理步驟中有 60% 到 70% 是例行操作，較小的模型就能以較低的成本處理這些工作，大幅減少整個工作流程的 token 花費。

快取推理，跳過重複

這就是語意快取的用武之地。它不是重複解決相同的問題，而是利用嵌入向量比對新請求的語意。如果匹配度足夠接近，代理就能重用先前的成果，而不必產生新的推理鏈。

這種節省效果很明顯，尤其在客戶支援系統整天回答類似問題，或文件處理管線處理數千個幾乎相同的檔案時。在這些情境下，重用先前的推理可以大幅減少組織消耗的 token 數量。

衡量真正重要的指標

但這些工作流程只有在團隊能看到其影響時才具有價值，而許多組織仍在摸索如何有效衡量這些效益。設計不良的代理迴圈或低效率的多代理交接，可能以隱形方式主導成本，而這些成本在只看單次請求定價時很容易被忽略。

過度專注於 token 也很容易。執行代理式應用程式還需要支付 GPU、記憶體、向量資料庫，以及生產環境監控所需工具的費用。節省 token 雖然有幫助，但如果堆疊的其他部分仍然昂貴，就無法解決全部問題。

AI 基礎設施的下一個階段

下一代系統越來越注重基於更好的架構決策來建構。這表示上下文管理、模型呼叫、任務分解與中間成果重用，正變得與推論定價甚至基準分數同等重要。

模型能力將持續提升，推論成本也可能下降。但如果自主代理成為組織建構 AI 應用程式的主要方式，那麼最能有效擴展的系統，可能不是使用最便宜模型的系統，而是浪費最少 token 的系統。

最能有效擴展的系統，可能不是使用最便宜模型的系統，而是浪費最少 token 的系統。

YOUTUBE.COM/THENEWSTACK

科技發展快速，別錯過任何一集。訂閱我們的 YouTube 頻道，觀看所有 podcast、訪談、示範，以及更多內容。

Group Created with Sketch.