記事一覧に戻る

DeepSeek-R1とは？

難しい数学の問題に直面したとき、じっくり時間をかけて丁寧に解くことがどれほど役立つか、誰もが経験したことがあるでしょう。OpenAIのo1モデルは、LLMが推論時に計算量を増やすことで、同じように動作するよう訓練されると、数学・コーディング・論理といった推論タスクで大幅に性能が向上することを示しました。

しかし、OpenAIの推論モデルの背後にあるレシピは、長らく秘密にされていました。それが先週、DeepSeekがDeepSeek-R1モデルをリリースし、インターネット（および株式市場！）を席巻するまで続きました。

DeepSeek-R1はo1と同等かそれ以上の性能を発揮しただけでなく、トレーニングレシピの主要ステップを概説した詳細な技術レポートも公開されました。このレシピにはいくつかの革新が含まれており、特に注目されるのは、純粋な強化学習を適用して、一切の人間による監督なしにベース言語モデルに推論を教えるという手法です。下図に示すように、強力な推論モデルを作ることは、優れたベースモデルと高品質なデータ混合にアクセスできれば、今では非常にシンプルなものになっています。

DeepSeek-R1 training pipeline

しかし、DeepSeek-R1のリリースには以下のような未解決の疑問が残されています。

  • データ収集：推論特化型データセットはどのようにキュレーションされたのか？
  • モデル訓練：DeepSeekから訓練コードは公開されていないため、どのハイパーパラメータが最適で、異なるモデルファミリーやスケール間でどのように異なるのか不明です。
  • スケーリング則：推論モデルの訓練における計算量とデータのトレードオフはどのようなものか？

これらの疑問から、私たちはOpen-R1プロジェクトを立ち上げました。これはDeepSeek-R1のデータと訓練パイプラインを体系的に再構築し、その主張を検証し、オープンな推論モデルの限界を押し広げるための取り組みです。Open-R1を構築することで、強化学習が推論をどのように向上させるかについての透明性を提供し、オープンソースコミュニティと再現可能な知見を共有し、将来のモデルがこれらの技術を活用するための基盤を構築することを目指しています。

このブログ記事では、DeepSeek-R1の主要な要素、どの部分を再現する予定か、そしてOpen-R1プロジェクトにどのように貢献できるかを見ていきます。

さっそく見ていきましょう🚀！

どのようにして実現したのか？

DeepSeek-R1は、DeepSeek-V3を基盤として構築された推論モデルです。優れた推論モデルと同様に、強力なベースモデルから始まり、DeepSeek-V3はまさにそれに該当します。この671BパラメータのMixture of Experts（MoE）モデルは、Sonnet 3.5やGPT-4oといった重量級モデルと同等の性能を発揮します。特に印象的なのは、Multi Token Prediction（MTP）、Multi-Head Latent Attention（MLA）、そして大量のハードウェア最適化といったアーキテクチャ変更のおかげで、わずか550万ドルという低コストで訓練できた点です。

DeepSeekはまた、DeepSeek-R1-ZeroとDeepSeek-R1の2つのモデルを発表しました。それぞれに異なる訓練アプローチが採用されています。DeepSeek-R1-Zeroは教師ありファインチューニングを一切スキップし、Group Relative Policy Optimization（GRPO）を使用した純粋な強化学習（RL）のみに依存してプロセスを効率化しました。単純な報酬システムがモデルの出力を導くために使用され、回答の正確性と構造に基づいてフィードバックを提供しました。このアプローチにより、問題をステップに分割したり自身の出力を検証したりするような有用な推論スキルをモデルが発達させることができました。ただし、応答の明瞭さに欠け、読みにくい場合が多かったです。

そこで登場したのがDeepSeek-R1です。まず「コールドスタート」段階で、明瞭さと読みやすさを向上させるために慎重に作成された少数の例に対してファインチューニングを行いました。その後、さらにRLと洗練のステップを踏み、人間の選好に基づく報酬と検証可能な報酬の両方を用いて低品質な出力を拒否することで、優れた推論能力を持ち、かつ洗練され一貫性のある回答を生成するモデルを作成しました。

DeepSeek-V3 architecture

これは素晴らしいことですが、実際に欠けているものは何でしょうか？パズルの欠けたピースを見てみましょう。

Open-R1：欠けたピース

DeepSeek-R1のリリースはコミュニティにとって素晴らしい贈り物ですが、すべてをリリースしたわけではありません。モデル重みはオープンですが、モデルの訓練に使用されたデータセットとコードは公開されていません😢。

Open-R1の目標は、これらの最後の欠けたピースを構築し、研究コミュニティと産業界全体がこれらのレシピとデータセットを使って類似またはより優れたモデルを構築できるようにすることです。そして、これをオープンに行うことで、コミュニティの誰もが貢献できるようになります！

下図に示すように、私たちの攻撃計画は以下の通りです。

  • ステップ1：DeepSeek-R1から高品質な推論データセットを蒸留することで、R1-Distillモデルを再現する。
  • ステップ2：DeepSeekがR1-Zeroを作成するために使用した純粋なRLパイプラインを再現する。これには、数学・推論・コード向けの新しい大規模データセットのキュレーションが含まれます。
  • ステップ3：ベースモデル → SFT → RLへの多段階訓練が可能であることを示す。

Open-R1 steps 合成データセットにより、誰もが既存または新しいLLMを、これらのデータセットで単にファインチューニングするだけで推論モデルに変換できるようになります。RLを含む訓練レシピは、誰でもゼロから類似のモデルを構築するための出発点となり、研究者がさらに高度な手法をその上に構築することを可能にします。

数学データセットで止まるつもりはありません。コードのような明らかな分野だけでなく、医学などの科学分野でも、推論モデルが大きな影響を与える可能性があります。

このイニシアチブは単に結果を再現するだけでなく、コミュニティと洞察を共有することです。何がうまくいき、何がうまくいかず、なぜそうなのかを文書化することで、他の人が非生産的な道筋で時間と計算量を無駄にするのを防ぎたいと考えています。

これが興味深いと思われるなら、ぜひご協力ください！コードの貢献やHugging Faceでの議論への参加など、関わる方法はたくさんあります。一緒に構築しましょう！🚀