Mesh LLM：基于 iroh 的分布式 AI 计算

当人们想象运行大型语言模型时，他们脑海中浮现的往往是数据中心。成排的 GPU 属于他人、按量计费的 API，以及随着成功使用而不断增长的账单。你把提示词发送给一个黑箱，希望价格、模型和隐私政策在你注册时保持不变。

对于许多团队来说，这是一笔糟糕的交易。你放弃了对模型何时更新、数据流向何处以及运行工作负载的硬件的控制。随着使用量增长，账单也会随之增加，除了“支付更多”之外别无选择。

Mesh LLM 采用不同的形态。它将你已有的 GPU 和内存资源池化，无论你想添加多少台机器，并将整体暴露为一个兼容 OpenAI 的 API。从一个节点开始，之后随时添加更多节点。让 mesh 决定模型是在你面前的机器上运行、路由到对等节点，还是跨多台机器拆分执行。

问题：AI 昂贵，且属于他人

主流模型是单体结构。大多数人通过界面或 API 密钥访问它们，并向大型提供商付费运行一切。这很方便，但也是一种放弃。你无法控制模型何时更新、它在何种内存中运行，或底层使用什么硬件。

许多依赖这些模型的业务和服务想要相反的东西：更多控制、更强的可插拔性、更低的成本。他们在办公室、壁橱、书桌下都有 GPU。他们缺少的只是让这些机器像一台设备一样工作的方法。

理念很简单：在不购买更大 GPU 的情况下运行更大模型。私下与团队共享算力，或公开与世界共享，以驱动智能体和聊天。将任何 OpenAI 客户端指向 http://localhost:9337/v1，无需关心工作实际发生在何处。

在底层，Mesh LLM 通过 iroh 端点的 mesh 将模型计算分布出去。一个请求可通过三种方式提供服务：

• 在本地运行，使用本机 GPU。
• 路由到已加载模型的对等节点。
• 将单个节点无法容纳的过大模型拆分到多台机器上，作为流水线执行。

架构是可插拔的。插件在清单中声明其提供的内容，运行时启动它们、路由调用，并通过 MCP、HTTP、推理和 mesh 事件暴露其能力。目录附带 40+ 模型，从适合笔记本电脑的 5 亿参数模型到 235B 混合专家巨型模型。

对于巨型模型，Mesh LLM 提供拆分模式（内部称为“Skippy”）。模型按层范围划分为阶段：第 0-15 层在一个节点上，第 16-31 层在下一个节点，以此类推形成流水线。激活在阶段间流动，因此多台普通机器可以运行任何一台都无法单独容纳的模型。OpenAI 客户端永远看不到这些细节。它仍然只与 localhost 通信。

每个节点，无论是否提供模型或仅发送请求，都会启动一个 iroh 端点。该端点是节点的身份、公钥，也是其唯一的网络表面。没有中央服务器。iroh 处理打洞、NAT 穿越和中继回退，以在任意两个节点之间建立直接、已认证的 QUIC 连接，无论它们位于何处。

为确保在开放互联网上正常工作，Mesh LLM 在不同区域运行两个 iroh 中继，因此无法直接互达的节点始终有就近的回退路径。

整个协议基于 QUIC 的 ALPN 协商。共有三个：

在主 mesh-llm/1 连接内部，一切都是双向 QUIC 流，以单个前导字节标记流类型。单个连接承载 gossip、推理、路由查询和对等生命周期事件，全部通过第一个字节解复用：

有趣之处在于这为你带来了什么。iroh 提供任意两台机器之间经过认证、可穿越 NAT 的 QUIC 连接，通过公钥寻址。因此“路由到对等节点”和“将激活流式传输到下一个流水线阶段”与“与 localhost 通信”使用相同的原语，只是端点 ID 不同。网络不再是需要思考的事情。

iroh 提供安全传输。Mesh LLM 在其上构建了自己的 gossip 层，因此它能精确控制谁被允许加入 mesh、哪些版本兼容，以及信任哪些对等节点。

用户可以安装轻量软件（约 18 MB），加入公共 mesh 或配置私有部署。该系统对任何标准 OpenAI 客户端呈现为 localhost:9337/v1。

即将推出基于 iroh Swift SDK 的移动应用。计划支持 ACP（新兴的智能体标准），以便其他客户端也能加入 mesh。其主线与推动整个项目的初衷一致：更多点对点，更少封闭服务器，没有锁定。

• 查看代码
• Mesh LLM 网站

Iroh 是一个即插即用的拨号任意设备网络库。通过现成的协议生态系统组合即可获得所需功能，或在干净的抽象层上完全自定义。Iroh 是开源的，已在数十万台设备上投入生产。
要开始使用，请查看我们的 文档，直接深入 代码，或在我们的 Discord 频道与我们交流。