建構多模型 AI 應用程式：為什麼單一模型不足以應付

如果你問大多數開發人員，他們的 AI 應用程式是由哪個模型驅動的，通常會得到一個答案。

"我們使用 GPT-4o。"

或者是 Claude。

或者是 Gemini。

或者是 DeepSeek。

一個應用程式。

一個模型。

一個提供商。

這很合理。

這也是我們大多數人開始建構 AI 產品的方式。

但我不認為這是我們未來的發展方向。

如果有任何趨勢，我認為我們正在遠離依賴單一「超級模型」的應用程式，轉向多個模型共同運作的系統，每個模型都負責解決它最擅長的問題。

換句話說，AI 應用程式的未來並不是更大的模型。

而是更好的協調。

不是每個請求都值得使用最昂貴的模型

想像你正在建構一個 AI 客服平台。

有使用者問：

"將這個 JSON 轉換成 YAML。"

這真的需要使用你最昂貴的推理模型嗎？

大概不需要。

現在另一個使用者上傳了一份 200 頁的法律合約，並要求進行風險評估。

這是完全不同的問題。

然而許多應用程式會將這兩個請求都傳送給同一個模型。

這就像開著一輛 F1 賽車去買菜。

它辦得到。

但成本過高。

情境感知路由可以解決這個問題。

你的應用程式不再平等對待每個請求，而是先問：

"這是什麼樣的問題？"

是簡單的格式轉換嗎？

就把它送到輕量、低成本的模型。

是文件摘要嗎？

也許可以使用具有較大上下文視窗的模型。

是複雜推理嗎？

現在才啟用你的高階模型。

結果呢？

更低的成本。

更好的效能。

而使用者幾乎察覺不到差異。

昂貴不等於更好

我早期犯過的一個錯誤，就是以為付更多錢就會自動產生更好的結果。

事實並非如此。

不同的模型有不同的強項。

有些擅長結構化輸出。

有些速度極快。

有些更擅長推理。

有些單純就是比較便宜。

目標不是找到「最好的」模型。

目標是找到「正確的」模型。

有時候一筆 $0.001 的請求，產生的結果與花費十倍成本的請求完全相同。

如果你正在建構一個正式上線的應用程式，這些節省會迅速累積。

尤其是當每天有數千個請求通過你的系統時。

AI 正在變成一項團隊運動

我特別興奮的一個想法是完全超越單一模型的思考。

想像一個財務分析平台。

而不是要求一個模型完成所有工作，你的應用程式會建立一個小型團隊。

一個模型負責摘要上傳的報告。

另一個模型負責提取結構化的財務資料。

另一個模型負責識別商業風險。

另一個模型負責檢查不一致之處。

最後一個模型負責將所有輸出結合成一個完善的回應。

這些模型彼此不知道對方在做什麼。

它們只負責單一任務。

這正是工程團隊的運作方式。

而我認為 AI 系統正開始呈現出驚人的相似性。

協調正在成為真正的產品

隨著 AI 模型持續進步，我認為競爭優勢正在轉移。

不會是：

"我們使用 Model X。"

因為每個人都能取得 Model X。

相反地，優勢在於：

  • 你組合了哪些模型。
  • 你何時呼叫它們。
  • 它們執行的順序。
  • 每個模型接收到什麼樣的上下文。
  • 如何處理失敗。
  • 如何合併結果。

協調層變得比模型本身更有價值。

這就是為什麼我不認為 OpenRouter 只是單純的 API 閘道。

它是建構這類工作流程的基礎設施。

今天你在交換提供商。

明天你可能會協調十個提供商。

思考工作流程，而非提示詞

我最大的心態轉變之一是：

停止思考提示詞。

開始思考工作流程。

使用者請求不一定需要變成單一 API 呼叫。

它可以變成一個管線。

輸入。

分類。

路由。

推理。

驗證。

格式化。

回應。

每個階段都可以使用最適合該特定任務的模型。

最終使用者永遠不會看到這些過程。

他們只會收到快速且準確的回應。

成本最佳化始於架構

大多數開發人員認為，透過切換到較便宜的模型來降低 AI 成本。

這是一種方法。

更好的方法是問：

"這個請求一開始就應該送到昂貴的模型嗎？"

架構通常比模型選擇更能省錢。

如果 70% 的流量可以用較小、更快的模型處理，你在觸及任何定價表之前就已經降低了成本。

最便宜的請求不是送到較便宜模型的那一個。

而是從一開始就不需要昂貴模型的那一個。

展望未來

幾年前，應用程式與資料庫緊密耦合。

然後變成服務導向。

然後微服務開始流行。

我認為 AI 應用程式正在經歷類似的演進。

我們正在遠離單體式智慧。

走向分散式智慧。

不是要求一個模型解決所有問題，而是應用程式會協調多個專門模型，每個模型貢獻最終答案的一小部分。

當這種情況發生時，選擇提供商變得較不重要。

設計智慧工作流程成為一切。

這就是為什麼我相信 OpenRouter 這類工具很重要。

不是因為它們讓我們能取得更多模型。

而是因為它們讓建構系統變得實際可行，在這些系統中，模型成為可互換的建置區塊，而非架構限制。

AI 開發的未來不是找到完美的模型。

而是設計出知道哪個模型要用、何時使用，以及為什麼使用的系統。