[2026年7月29日提出]

著者:Tiancheng Hu, Jin Qin, Yuzheng Wang, Ke Liu, TangShengsheng Li, Sheng Wang, Zhongzhe Hu, Tianlun Hu, Wei Wang, Lijun Li, Jingbin Zhou, Xiaoming Bao, Hongwei Sun, Jieru Zhao, Huimin Cui, Tao Xie, Chenxi Wang

PDFを表示 HTML（実験的）

概要:最新の分散型AIワークロードは数百のアクセラレータにまたがって実行されており、通信が大きなボトルネックとなっている。既存の通信ライブラリは、ユーザバッファと通信バッファが別々に管理されるため、主にバッファ中心のままとなっており、冗長なデータコピーや高コストなユーザバッファ登録が発生している。本論文では、生産用スーパーノード向けのゼロ冗長・ファブリックネイティブ通信ライブラリであるStrataCLを紹介する。StrataCLは、割り当て時登録を導入してユーザバッファ直接通信を実現し、ワークロードバランスの取れたNPUコア分割とNPU駆動のSDMAオフロードにより通信オペレータを設計して、スーパーノードアーキテクチャの特徴を活用する。Huawei CloudMatrix384において、StrataCLは集合通信バス帯域幅を最大1.6倍向上させ、MoEディスパッチ/コンバインのバス帯域幅を最大1.4倍向上させた。3つの本番ワークロードにおいて、StrataCLはLLM推論スループットを1.9倍向上させ、P99 TTFTを2.2倍削減し、LLMおよびRecsys学習のイテレーション時間をそれぞれ1.4倍および1.3倍短縮した。

投稿履歴

投稿者: Tiancheng Hu [メールを表示]
[v1] 2026年7月29日 水曜日 03:45:05 UTC (641 KB)