[Submitted on 29 Jul 2026]

Authors:Tiancheng Hu, Jin Qin, Yuzheng Wang, Ke Liu, TangShengsheng Li, Sheng Wang, Zhongzhe Hu, Tianlun Hu, Wei Wang, Lijun Li, Jingbin Zhou, Xiaoming Bao, Hongwei Sun, Jieru Zhao, Huimin Cui, Tao Xie, Chenxi Wang

View PDF HTML (experimental)

Abstract:現代分散式 AI 工作負載橫跨數百個加速器，使通訊成為主要瓶頸。現有通訊函式庫仍主要以緩衝區為中心，因為使用者與通訊緩衝區分開管理，導致多餘的資料複製或高成本的使用者緩衝區註冊。本文提出 StrataCL，一個針對生產級超級節點的零冗餘且原生 fabric 通訊函式庫。StrataCL 引入「分配即註冊」機制，實現使用者緩衝區直接通訊，並設計具工作負載平衡 NPU 核心分割與 NPU 驅動 SDMA 卸載的通訊運算子，以利用超級節點架構特性。在 Huawei CloudMatrix384 上，StrataCL 將集體匯流排頻寬提升最高 1.6 倍，並將 MoE dispatch/combine 匯流排頻寬提升最高 1.4 倍。在三項生產工作負載中，StrataCL 將 LLM 推論吞吐量提升 1.9 倍，將 P99 TTFT 降低 2.2 倍，並分別將 LLM 與 Recsys 訓練迭代時間降低 1.4 倍與 1.3 倍。

Submission history

From: Tiancheng Hu [view email]
[v1] Wed, 29 Jul 2026 03:45:05 UTC (641 KB)