十分に大規模なGPUクラスタでは、何かが常に故障しています。それが現実です。標準的な対処法は、最後のチェックポイントまでロールバックし、それ以降のすべてを再計算するというもので、遅くコストもかかります。https://clockwork.io/はこの対処法を不要にしようとしています — しかも保証を付けています。

Clockworkがトレーニング実行を障害から守る基盤となるのがTorchPassで、Clockworkのフォールトトレランス製品です。同製品は3月に一般提供を開始しました。GPUやノード全体が故障すると、TorchPassはトレーニングジョブのメモリ内状態（モデル重み、勾配、オプティマイザ状態を含む）を正常な予備GPU — または優先度の低いジョブが実行中のGPU — へ移し、通常数分でジョブを継続させます。

水曜日、同社は「YOCO Guarantee」を発表しました。YOCOは「You Only Compute Once」の略です。同社は、サポート対象のトレーニング実行における障害の90%を、進捗の損失、チェックポイントへのロールバック、再計算なしで解決することを保証します。契約年度中にClockworkがこの水準を満たせなかった場合、顧客は次回の更新または拡張に対して25%のクレジットを受け取ります。

「AIチームが必要としているのは、モデルの完了です。ノードの稼働ではありません。」 — Clockwork CEO、Suresh Vasudevan氏。

Suresh Vasudevan氏は、「AIチームが必要としているのは、モデルの完了です。ノードの稼働ではありません。業界はノードの稼働時間を測定して信頼性と呼んできました。YOCOは、私たちが責任を負うべき唯一のもの — 完了したモデル — に対して説明責任を果たすものです」と述べています。

TorchPass vs. TorchFT. Credit: Clockwork.

ロールバックではなくライブマイグレーション

Clockworkの最高事業責任者兼共同創業者であるDan Zheng氏は、現在の標準的な状況をThe New Stackに説明しました。「定期的にチェックポイントを取得している状態で何かが故障した場合、前のチェックポイント — 1時間前や2時間前 — まで戻って再計算しなければなりません」

もちろん、この再計算は無料ではありません。チームはすでに完了した作業をやり直すために、高価なGPU時間を支払わなければなりません。

TorchPassは、ジョブを稼働させたまま移行することで、このロールバックを回避します。「非常に高いレベルで考えると、VMwareのvMotionに似ていますが、GPU向けなので、gMotionのようなものだと考えています」とZheng氏は述べ、VMwareの実行中の仮想マシンを物理ホスト間でダウンタイムなしで移行する技術に言及しました。

ただし、この置き換え元はどこかから調達する必要があります。「GPUの1つが故障し、予備ノードにアクセスできる場合、それはスタンバイノードでも、優先度の低いジョブを実行中のノードでもかまいません」とZheng氏は言います。

チームはアイドル状態のノードを専用スペアとして確保するか、アイドルGPUの料金を避けるために、TorchPassが優先度の低いジョブからノードを借りてそのジョブを停止し、トレーニングクラスタに組み込み、GPU間の接続を再構築して、チェックポイントではなく次のステップから実行を再開させることもできます。

TorchPassは障害を待つ必要もありません。障害の兆候が現れた時点で、ジョブを移行できます。「温度が一定の閾値を超えている場合、そのGPUはいつか故障するとわかります」とZheng氏は述べます。「GPUメモリにまだアクセスできるうちに、何か手を打てばいいのではないでしょうか？」

Credit: Clockwork.

TorchPassの有効化方法

TorchPassには2つのモードがあり、主な違いは移行する状態の量と、それによる回復速度です。

高速オプションはモデル対応で、Zheng氏によれば数行のコードを追加するだけで利用できます。これによりTorchPassは正確に取得すべきものを把握できるため、移動するデータ量が少なくなり、数十秒で回復できます。

もう1つは、チームが「モデル透過的」と呼ぶモードです。これを利用する場合、トレーニングチームはトレーニングコードを変更する必要がありません。「システムレベルのスナップショットを取得できます」とZheng氏は述べます。この方法はTorchPassの利用が容易ですが、その代わりにより多くのデータを移動し、回復に数分かかります。

ただし、突然のクラッシュは依然として問題です。TorchPassはすでに停止したノードをスナップショットできません。この場合、Clockworkはジョブがすでに実行している健全なデータ並列レプリカ — 本来並列処理のために存在するコピー — から、失われたワーカーの状態を再構築するとしています。

TorchPassには限界があり、Zheng氏もそれを認めています。「ネットワーク全体がダウンした場合、どうしようもありません」と彼は言います。「まるで電力が完全に失われたようなもので、誰にもどうしようもありません」

失敗した実行が実際にどれだけのコストを生むか

大規模では障害は稀な出来事ではありません。Clockworkの発表で引用されたMetaのFAIRチームの調査によると、1,024 GPUクラスタでの平均故障間隔は7.9時間、16,384 GPUでは1.8時間まで短縮されます。その結果、Clockworkによると、GPUクラスタの実効性能は理論値の30〜50%程度に留まっています。しかし同社は、ハードウェアではなく、障害が実際のクラスタで観測される頻度よりはるかに稀であると仮定する信頼性モデルこそがボトルネックだと主張しています。

Clockworkは、標準的な2,048 GPUのH200構成で、障害による再開が年間600万ドル以上のコンピュート浪費を引き起こすと推定しています。

「AnthropicやOpenAI向けではない」

「このソリューションはAnthropicやOpenAI向けではありません。彼らには十分なエンジニアリング力があるからです」とZheng氏は述べます。「Google向けでもありません。本当に必要なのは、それ以外のすべての人々です」。彼が指すのは、自身で構築することなく「Frontier AI Labレベルの耐障害性」を求めるAIネイティブのスタートアップ、企業、クオンツやバイオテック企業です。

この市場は、作業が事前学習から事後学習や強化学習へ移行するにつれて拡大しており、1年前より大規模なトレーニングジョブに取り組むチームが増えています。Clockworkによると、顧客にはneocloudのNebius、Nscale、WhiteFiberのほか、DCAIやUber、Wells Fargoなどの企業が含まれています。

認知度はまだ追いついていないと同社は指摘します。「多くの会話相手は、チェックポイント再開に慣れすぎていて、他に選択肢があることを知りません」とZheng氏は述べています。

テスト結果

最も一般的な代替策は現状維持だとClockworkは述べています。チームは頻繁にチェックポイントを取得し、障害発生時に再計算を甘受します。

もう1つの選択肢は、Metaが2024年末にリリースしたオープンソースフレームワークTorchFTです。これはGPU障害時にレプリカグループ全体を破棄し、置き換えられるまでジョブを継続させるものです。Clockworkによると、このアプローチは障害が発生していない場合でもステップごとにオーバーヘッドが生じ、同社はTorchPassを、数百〜数千程度のGPUで動作し、数分ごとに障害が発生するわけではない、より控えめなジョブ向けの軽量オプションとして位置づけています。

SemiAnalysisはTorchPassについて独自のベンチマークを実施しました。

「ベンダーが『自社製品は動作する』とスライドに書くことと、それを契約に明記することは大きく異なります」と、SemiAnalysisのテクニカルスタッフでClusterMAXベンチマークの主執筆者であるJordan Nanos氏は述べています。「当社のテストでは、TorchPassは64x H200クラスタでのGPT-OSS-120Bトレーニング実行において、ジョブ完了時間に関してチェックポイント再開を上回る最速かつ最も効率的なフォールトトレラント性能を発揮しました。TorchPassはTorchFTをも（MFUおよびtokens/sec/GPUで）上回り、回復時間は同等でした。YOCO Guaranteeは、私たちがテストで確認した内容を契約上の保証として反映したものです」

ソフトウェアレイヤとしての信頼性

「初期のGoogle時代を思い浮かべてみてください。Google File Systemのようなものです」とZheng氏は述べます。「コモディティの回転式ハードディスクを使っていても、開発者の視点では『一度書き込めばデータは永続化される』ことを望みます。データセンターで誰かがディスクを交換する必要があるかどうかは気にしません」

「ソフトウェアレベルでも同様の耐障害性レイヤが必要です」と彼は続けます。「そうすれば、開発者やAI研究者はより高いレベルの確信を持てます。トレーニングに集中でき、インフラを心配する必要がなくなるのです」

可観測性

Clockworkは、サーバークロックの同期という、現在とは全く異なるミッションから生まれました。しかし、それにはサーバー間のレイテンシを非常に正確に測定することも含まれており、チームはその測定からクラスタについて多くのことを学べることに気づきました。同社は以来この取り組みを拡大しており、可観測性が依然として同社の中心的な活動であることは注目に値します。

Zheng氏は、TorchPassとClockworkの監視ツールは補完関係にあると述べています。「問題を特定できれば移行できるという点で、TorchPassと密接に連携しています」

同社の最近の取り組みの多くは、実際には可観測性に注力しています。同社のフリート監視ツールは現在、ファブリックの問題を特定のリンクやスイッチまで追跡可能だとZheng氏は述べ、大規模クラウド事業者数社とこの機能を試験中です。GPUの劣化や混雑したリンクを十分に早く検知できれば、障害が発生する前にTorchPassでジョブを移行できると彼は述べています。

YOUTUBE.COM/THENEWSTACK

Tech moves fast, don't miss an episode. Subscribe to our YouTube channel to stream all our podcasts, interviews, demos, and more.

Group Created with Sketch.