AIルーターを構築した：プロンプトを分解して最適なモデルに振り分ける

LLM APIを呼び出す際、どのモデルを選ぶべきかは悩みどころです。推論にはClaude、コードにはGPT、長文コンテキストにはGemini... 手動でルーティングしています。

これに疲れたので、Flintを構築しました。モデル選択を自動で行うスマートルーティングエンジンです。

仕組み

Flintは、プロンプトを単一のモデルに転送するのではなく：

1. 分解 — プロンプトを解析し、必要な能力領域（調査、分析、コード、コンテンツ、数学...）を特定
2. 振り分け — 各サブタスクをその領域に最適なモデルへルーティング
3. 実行 — 並列で実行
4. 統合 — 結果を一つの一貫した回答にまとめる

You: "Compare Python and Go for an API gateway"
         ↓
   [Decompose]
    /         Research    Analysis
(qwen3.7)   (deepseek)
    \         /
   [Synthesize]
         ↓
   Structured comparison with performance data

Enter fullscreen mode Exit fullscreen mode

実際の例

「APIゲートウェイ構築のためのPythonとGoの比較」というプロンプトでFlintが生成した内容です：

1. パフォーマンス — Goはネイティブコードにコンパイルされ、数万の同時接続を処理可能。PythonのGILは非同期フレームワークを使ってもスループットを制限する。

2. 並行性 — Goのgoroutine（約4KBのスタック）は、I/O負荷の高いワークロードでPythonのasyncioを桁違いに上回る。

3. エコシステム — Goはゲートウェイ分野を支配している（Traefik、Caddy、Kongプラグイン）。Pythonにはフレームワークはあるが、専用のゲートウェイプロジェクトは不足している。

調査サブタスクが実際のベンチマークデータを取得し、分析サブタスクが比較を構造化し、合成器がそれらを統合しました。1つのプロンプト、複数のモデル、1つの回答。

技術スタック

• バックエンド: FastAPI + SQLite、$20のVPSにデプロイ
• ルーターエンジン: カスタムPythonパイプライン — 分解、振り分け、実行、検証、統合
• モデル: DeepSeek V4、Qwen3.7、Kimi K2、GLM-5、CloudWalk経由で30以上のモデル
• API: OpenAI互換 — base_urlを1つ変更するだけで既存のコードをそのまま使用可能

試してみる

ライブデモがあります — 登録不要。任意の質問を入力して、Flintのルーティングと直接モデル呼び出しを並べて比較できます。

• デモ: flintapi.ai/demo
• API: pip install openai + base_url="https://flintapi.ai/v1"を設定
• コード: github.com/moozechen/flintapi

フィードバックをお待ちしています — スマートルーターにどのような機能を追加してほしいですか？