DiffusionGemma: テキスト生成を4倍高速化

最新のオープン実験モデルは、専用GPU上で最大4倍の高速推論を実現し、速度が重要なインタラクティブなローカルワークフローの探求の扉を開きます。

Brendan O'Donoghue

Research Scientist

Sebastian Flennerhag

Research Scientist

本日、テキスト拡散という非常に高速なテキスト生成アプローチを探求する実験的なオープン・モデル、DiffusionGemmaを紹介します。Apache 2.0ライセンスの下でリリースされるこの26B Mixture of Experts（MoE）モデルは、典型的な自己回帰型大規模言語モデル（LLM）のトークンごとの逐次処理を超え、テキストのブロック全体を同時に生成することで、GPU上で最大4倍の高速なテキスト生成を実現します。

業界をリードするGemma 4ファミリーのインテリジェンス・パー・パラメータと最先端のGemini Diffusion研究を基盤として構築されたDiffusionGemmaは、生成速度を最大化するために設計された新しい拡散ヘッドを統合しています。自己回帰型Gemma 4モデルは、高品質な本番出力の標準として引き続き使用されますが、DiffusionGemmaはインライン編集、高速イテレーション、非線形テキスト構造の生成など、速度が重要なインタラクティブなローカルワークフローを探求する研究者や開発者向けに設計されています。

開発者にとっての新しい価値の解放

リアルタイムのインタラクティブAIアプリケーションを構築する開発者は、ローカル推論のレイテンシのボトルネックに悩まされることがよくあります。DiffusionGemmaは、いくつかの重要なトレードオフを伴いながら、これらの課題に直接対処します。

• 驚異的な高速推論： デコードのボトルネックをメモリ帯域幅から演算へ移行することで、DiffusionGemmaは専用GPU上で最大4倍高速なトークン出力を実現します。（単一のNVIDIA H100で1000トークン/秒超、NVIDIA GeForce RTX 5090で700トークン/秒超）。 1
• アクセスしやすいハードウェア・フットプリント： 推論時に3.8Bのパラメータのみをアクティブ化する26BのMixture of Experts（MoE）モデルとして動作するDiffusionGemmaは、量子化された状態でハイエンドのコンシューマー向け専用GPUの18GB VRAM制限内に快適に収まります。
• 双方向アテンション：各フォワードパスで256トークンを並列に生成することで、すべてのトークンが他のすべてのトークンにアテンションを向けることができます。これにより、インライン編集、コードの穴埋め、アミノ酸配列、数学的グラフなど、非線形ドメインで大きな利点が得られます。
• インテリジェントな自己修正： モデルは自身の出力を反復的に洗練させ、テキストブロック全体を一度に評価してリアルタイムで誤りを修正できます。
• 実験的ステータスと本番環境での推奨： 速度と並列レイアウト生成を優先するため、DiffusionGemmaの全体的な出力品質は標準的なGemma 4より低くなります。最大の品質が求められるアプリケーションでは、標準的なGemma 4のデプロイを推奨します。

ファインチューニングを通じて、特定のタスクにおけるDiffusionGemmaのパフォーマンスを向上させることができます。以下の例では、UnslothがDiffusionGemmaを数独を解くようにファインチューニングしました。これは、自己回帰型モデルが将来のトークンに依存するため苦手とするタスクですが、DiffusionGemmaの双方向アテンションによりこのタスクがはるかに簡単になります。

Fine-tuned DiffusionGemma solving Sudoku.

なぜテキストに拡散なのか？

AI研究コミュニティは長年、拡散に基づくテキスト生成を探求してきましたが、大規模モデルへの適用は依然として課題でした。DiffusionGemmaは、モデルがハードウェアを使用する方法を変えることで、この状況を変えます。

従来型モデルとのトレードオフ

ほとんどの言語モデルはタイプライターのように動作し、左から右へ1トークンずつ生成します。クラウドでは、数千のユーザー要求をまとめてハードウェア負荷を共有できるため、これが効率的です。しかし、単一のユーザー向けにローカルで実行する場合、この単語ごとの処理では専用GPUやTPUが十分に活用されず、ほとんどの時間が次の「キーストローク」を待つのに費やされます。

DiffusionGemmaはこの非効率性を逆転させます。単語を逐次予測する代わりに、256トークンの段落全体を同時に下書きします。コンピュータのプロセッサに一度により大きな作業量を与えることで、DiffusionGemmaはハードウェアを最大限に活用します。モデルの推論を、単一の逐次的なタイプライターから、テキストのブロック全体を同時にスタンプする大規模な印刷機へとアップグレードします。

DiffusionGemma text-to-3D SVG demo by Hugging Face. Step-by-step generation.

これは、DiffusionGemmaの高速化がローカルおよび低同時実行性の推論向けに設計されていることを意味します。高QPSのクラウドサービングでは、自己回帰型モデルを効率的に演算を飽和させるようにデプロイできるため、DiffusionGemmaの並列デコードは収益が減少する可能性があり、サービングコストが高くなる可能性があります。スループットの利点は、単一のアクセラレータ上の低〜中程度のバッチサイズで最も強力です。

テキスト拡散の仕組み

視覚的な静的ノイズから始めて反復的に洗練して明確な画像にするAI画像生成器と同様に、DiffusionGemmaはこれをテキストに適用します。

1. キャンバス： モデルはランダムなプレースホルダートークンのキャンバスから開始します。
2. 反復的な洗練： モデルは複数回のパスを行い、正しいトークンを固定し、それを文脈の手がかりとして使用して残りを洗練します。
3. 最終的な仕上げ： テキストが高品質な出力に収束します。

モデルは生成中に段落全体を処理できるため、複雑なマークダウン形式を完全に閉じたり、コードを生成してほぼリアルタイムでレンダリングしたりするなど、新しいモデル動作のパターンが解放されます。

今すぐ始めましょう

• 重みのダウンロード： 実験的なモデルの重みに、寛容なApache 2.0ライセンスの下で今すぐHugging Faceからアクセスできます。
• 統合と学習： DiffusionGemma開発者ガイドで詳細を学びましょう。または、内部の仕組みを理解するためにA Visual Guide to DiffusionGemmaを深く掘り下げてください。
• お気に入りの開発ツールを使う： MLX、vLLM（Red Hatによる統合サポート付き）、およびHugging Face Transformersを使用してモデルを効率的にサーブできます。迅速な実験のために、構成可能性を考慮して設計されたモジュール式のJAXツールボックスであるHackable Diffusionを使用したファインチューニングのチュートリアルをリリースします。また、UnslothおよびNVIDIA NeMoを使用したファインチューニングも探求できます。さらに、llama.cppの公式サポートが近日中に提供される予定です。
• 最適化されたパフォーマンスを体験する： NVIDIAと協力してハードウェアスタック全体で最適化を行い、コンシューマー向けセットアップ（GeForce RTX 5090および4090 GPU向けに量子化）およびエンタープライズシステム（先進的なNVFP4カーネルを使用したHopperおよびBlackwell）での互換性を確保しました。これには、ローカルのデスクサイド展開のためのNVIDIA DGX SparkおよびDGX Station、AIプロフェッショナル向けのRTX PROが含まれます。NVFP4（4ビット浮動小数点）のネイティブサポートにより演算スループットが加速され、ほぼロスレスな精度でモデルをより高速に実行できます。
• お好みの方法で試す： デスクトップの専用GPU上で、またはGemini Enterprise Agent Platform Model GardenやNVIDIA NIMを通じてクラウド上で実行できます。

Related stories