當您呼叫 LLM API 時,您選擇一個模型並希望它是正確的。Claude 用於推理,GPT 用於程式碼,Gemini 用於長上下文...您正在手動進行路由。
我厭倦了這種方式,所以我建立了 Flint — 一個智慧路由引擎,為您完成模型選擇。
運作原理
Flint 不會將您的提示詞轉發給單一模型,而是:
- 分解 — 分析您的提示詞,識別其需要的功能領域(研究、分析、程式碼、內容、數學...)
- 派送 — 將每個子任務路由到該領域的最佳模型
- 執行 — 並行運行這些任務
- 合成 — 將結果編織成一個連貫的答案
You: "Compare Python and Go for an API gateway"
↓
[Decompose]
/ Research Analysis
(qwen3.7) (deepseek)
\ /
[Synthesize]
↓
Structured comparison with performance data
Enter fullscreen mode Exit fullscreen mode
實際範例
以下是 Flint 針對「比較 Python 和 Go 建立 API 閘道」所產生的內容:
1. 效能 — Go 會編譯成原生程式碼,能處理數萬個並行連線。Python 的 GIL 即使搭配非同步框架,也會限制吞吐量。
2. 並行處理 — Go 的 goroutine(約 4KB 堆疊)在 I/O 密集型工作負載上的表現比 Python 的 asyncio 高出一個數量級。
3. 生態系統 — Go 主導了閘道領域(Traefik、Caddy、Kong 外掛)。Python 有框架,但缺乏專門的閘道專案。
研究子任務取得了實際的基準測試資料,分析子任務整理了比較結果,而合成器則將其編織在一起。一個提示詞、多個模型、一個答案。
技術堆疊
- 後端: FastAPI + SQLite,部署在 20 美元的 VPS 上
- 路由引擎: 自訂 Python 流程 — 分解、派送、執行、驗證、合成
- 模型: DeepSeek V4、Qwen3.7、Kimi K2、GLM-5,以及透過 CloudWalk 取得的 30 多個其他模型
-
API: 相容 OpenAI — 僅需變更一個
base_url即可保留您現有的程式碼
立即體驗
這裡有一個 線上示範 — 無需註冊。輸入任何問題,即可並排查看 Flint 的路由與直接模型呼叫的結果。
- 示範: flintapi.ai/demo
-
API:
pip install openai+ 設定base_url="https://flintapi.ai/v1" - 程式碼: github.com/moozechen/flintapi
歡迎提供回饋 — 您希望智慧路由器多做哪些它目前還做不到的事?
0 Comments
Log in to join the conversation.No comments yet. Be the first to share your thoughts.