Yucong Chen

當您呼叫 LLM API 時,您選擇一個模型並希望它是正確的。Claude 用於推理,GPT 用於程式碼,Gemini 用於長上下文...您正在手動進行路由。

我厭倦了這種方式,所以我建立了 Flint — 一個智慧路由引擎,為您完成模型選擇。

運作原理

Flint 不會將您的提示詞轉發給單一模型,而是:

  1. 分解 — 分析您的提示詞,識別其需要的功能領域(研究、分析、程式碼、內容、數學...)
  2. 派送 — 將每個子任務路由到該領域的最佳模型
  3. 執行 — 並行運行這些任務
  4. 合成 — 將結果編織成一個連貫的答案
You: "Compare Python and Go for an API gateway"
         ↓
   [Decompose]
    /         Research    Analysis
(qwen3.7)   (deepseek)
    \         /
   [Synthesize]
         ↓
   Structured comparison with performance data

Enter fullscreen mode Exit fullscreen mode

實際範例

以下是 Flint 針對「比較 Python 和 Go 建立 API 閘道」所產生的內容:

1. 效能 — Go 會編譯成原生程式碼,能處理數萬個並行連線。Python 的 GIL 即使搭配非同步框架,也會限制吞吐量。

2. 並行處理 — Go 的 goroutine(約 4KB 堆疊)在 I/O 密集型工作負載上的表現比 Python 的 asyncio 高出一個數量級。

3. 生態系統 — Go 主導了閘道領域(Traefik、Caddy、Kong 外掛)。Python 有框架,但缺乏專門的閘道專案。

研究子任務取得了實際的基準測試資料,分析子任務整理了比較結果,而合成器則將其編織在一起。一個提示詞、多個模型、一個答案。

技術堆疊

  • 後端: FastAPI + SQLite,部署在 20 美元的 VPS 上
  • 路由引擎: 自訂 Python 流程 — 分解、派送、執行、驗證、合成
  • 模型: DeepSeek V4、Qwen3.7、Kimi K2、GLM-5,以及透過 CloudWalk 取得的 30 多個其他模型
  • API: 相容 OpenAI — 僅需變更一個 base_url 即可保留您現有的程式碼

立即體驗

這裡有一個 線上示範 — 無需註冊。輸入任何問題,即可並排查看 Flint 的路由與直接模型呼叫的結果。

歡迎提供回饋 — 您希望智慧路由器多做哪些它目前還做不到的事?