分散式模型推論：筆電、GPU 工作站、迷你電腦、伺服器、工作站與雲端節點互相直接連接的網狀架構

當人們想像執行大型語言模型時，通常會聯想到資料中心。成排的 GPU 屬於其他人、需按量計費的 API，以及隨著使用成功而每月攀升的帳單。你把提示送進黑箱，然後祈禱價格、模型與隱私政策都維持在註冊時的狀態。

對許多團隊來說，這種交易並不划算。你放棄了對模型更新時機、資料去向，以及執行工作負載的硬體的控制權。隨著使用量成長，帳單也隨之增加，除了「多付錢」之外沒有其他選擇。

Mesh LLM 則是另一種形態。它把你已經擁有的 GPU 與記憶體跨任意數量的機器加以整合，並將整體呈現為單一 OpenAI 相容 API。從單一節點開始，之後再加入更多機器。讓網狀架構決定模型是在你面前的機器上執行、路由到其他節點，或是跨多台機器分割運算。

問題：AI 很貴，而且是別人的

熱門模型都是巨型單體。大多數人透過 UI 或 API 金鑰存取它們，並付費給大型供應商執行所有運算。這很方便，同時也是一種讓步。你無法控制模型何時更新、它在哪種記憶體中執行，或是底層使用什麼硬體。

許多依賴這些模型的企業與服務想要相反的結果：更多控制權、更多可插拔性，以及更低的成本。它們在辦公室、壁櫥、桌子底下都有 GPU，唯一欠缺的是讓這些機器像單一整體般運作的方法。

理念很簡單：在不購買更大 GPU 的情況下執行更大的模型。私下與團隊或公開與全世界分享運算資源，用來驅動代理與聊天。將任何 OpenAI 客戶端指向 http://localhost:9337/v1，就不必在意工作實際發生在哪裡。

在底層，Mesh LLM 透過 iroh 端點網狀架構分散模型運算。請求可透過三種方式處理：

  • 在本機 GPU 上執行。
  • 路由到已經載入模型的節點。
  • 將單一機器無法容納的模型分割成管線，跨多台機器執行。

架構具有可插拔性。外掛程式在資訊清單中宣告其提供的功能，執行階段會啟動它們、路由呼叫，並透過 MCP、HTTP、推論與網狀事件公開其能力。目錄內建 40 多種模型，從適合筆電的 5 億參數模型到 235B 混合專家巨型模型都有。

對於巨型模型，Mesh LLM 提供分割模式（內部稱為「Skippy」）。模型會依層級範圍分割成多個階段：第 0 到 15 層在一個節點、第 16 到 31 層在下一個節點，依此類推。激活值會從一個階段流到下一個階段，因此多台中階機器就能共同執行原本單一機器無法容納的模型。OpenAI 客戶端完全看不到這些細節，它只會與 localhost 通訊。

每個節點無論是提供模型還是只發送請求，都會啟動 iroh 端點。該端點就是節點的身份（公鑰），也是唯一的網路介面。沒有中央伺服器。iroh 負責處理打洞、NAT 穿越與中繼備援，讓任意兩個節點之間都能建立直接、已驗證的 QUIC 連線，無論它們位於何處。

為了在開放網際網路上維持運作，Mesh LLM 在不同地區執行兩個 iroh 中繼站，讓無法直接互相連線的節點永遠有就近的備援路徑。

整個協定建立在 QUIC 的 ALPN 交涉之上。共有三種：

ALPN承載內容
mesh-llm/1主要網狀：gossip、路由、HTTP 隧道、外掛程式通道
mesh-llm-control/1擁有者控制平面（設定同步、擁有權證明）
skippy-stage/2分割模型的延遲敏感激活傳輸

在主要的 mesh-llm/1 連線內，所有內容都是雙向 QUIC 串流，並以單一前導位元組標記串流類型。一條連線即可承載 gossip、推論、路由查詢與節點生命週期事件，全部由第一個位元組解多工：

位元組串流類型說明
0x01GOSSIP節點公告（模型、GPU、RTT、功能）
0x04TUNNEL_HTTP代理到其他節點的推論請求
0x05ROUTE_REQUEST「你託管哪些模型？」
0x06PEER_DOWN節點離線通知
0x07PEER_LEAVING優雅關閉
0x08PLUGIN_CHANNEL外掛程式 RPC
0x0eDIRECT_PATH_REQUEST分享用於 NAT 穿越的直接位址

最巧妙的地方在於這帶來的效益。iroh 提供任意兩台機器之間已驗證、可穿越 NAT 的 QUIC 連線，並以公鑰定址。因此「路由到其他節點」與「將激活值串流到下一個管線階段」與「與 localhost 通訊」使用相同的基礎機制，只是端點 ID 不同。網路層不再需要你操心。

iroh 提供安全傳輸層。Mesh LLM 在其上建構自己的 gossip 層，因此能精確控制哪些節點可加入網狀架構、哪些版本相容，以及哪些節點可信任。

使用者可安裝輕量軟體（約 18 MB），並加入公開網狀架構或設定私有部署。系統會對任何標準 OpenAI 客戶端呈現為 localhost:9337/v1。

即將推出基於 iroh Swift SDK 開發的行動應用程式。計畫支援新興的代理標準 ACP，讓其他客戶也能加入網狀架構。貫穿整個專案的主軸始終如一：更多點對點、減少封閉伺服器，以及避免鎖定。

Iroh 是一個「隨插即用」的跨裝置網路函式庫。你可以從現成協定的生態系中組合所需功能，也可以在乾淨的抽象層上完全自訂。Iroh 是開源專案，已經在數十萬台裝置上正式運行。
若要開始使用，請參閱我們的 文件、直接查看 原始碼，或加入 Discord 頻道與我們交流。