Mellum2の紹介: JetBrainsによる12B Mixture-of-Expertsモデル

記事一覧に戻る

• Mellum2は、自然言語とコードでゼロからトレーニングされた12BパラメータのMixture-of-Expertsモデルです。
• このモデルはトークンあたり2.5Bのパラメータのみをアクティブ化するため、高スループットかつ低レイテンシの推論に効率的です。 Mellum2はルーティング、RAG、要約、サブエージェント、高スループットなコーディング機能、プライベートデプロイメントに使用できます。
• Apache 2.0ライセンスでリリースされています。
• 同等のサイズのモデルと比較して、Mellum2は競争力のあるベンチマーク性能を発揮しつつ、2倍以上の高速な推論を実現します。
• Hugging Faceでモデルをダウンロード: https://huggingface.co/collections/JetBrains/mellum-2
• アーキテクチャの詳細、トレーニング設定、ベンチマーク、評価方法については、完全な技術レポートをご覧ください: https://arxiv.org/pdf/2605.31268

本日、私たちは低レイテンシのテキストおよびコードワークロードに最適化されたオープンなMixture-of-Expertsモデル、Mellum2をリリースします。 Mellumは元々コード補完モデルとして始まりました。Mellum2では、その基盤をより広範な自然言語およびソフトウェアエンジニアリングタスクに拡張しつつ、効率的な推論とデプロイ可能性に焦点を当てています。 現代のAIシステムは、ルーティング、検索、要約、計画、検証、ツール使用など、複数のモデル呼び出しにますます依存しています。これらの操作の多くはレイテンシに敏感で、最大規模のモデルを必要としません。 Mellum2はこれらのワークロードをターゲットとしています。

ベンチマークハイライト

技術レポートでは、コード生成、推論、科学、数学のベンチマーク全体でMellum2を評価しています。 Mellum2は同等のサイズのオープンなモデルと競争力がありながら、2倍以上の高速な推論を実現するため、高スループットの本番ワークロードに適しています。 モデルアーキテクチャ Mellum2はMixture-of-Expertsモデルです:

MoEアーキテクチャは、総モデル容量を高く保ちながら、各トークンに対してパラメータのサブセットのみをアクティブ化します。これにより推論がより効率的になり、リアルタイムワークロードの提供コストを削減するのに役立ちます。 Mellum2は、マルチモーダルタスクではなくテキストとコードに意図的に特化しています。この専門化により、ソフトウェアエンジニアリングワークロード向けにモデルはコンパクトで効率的になります。

主なユースケース

ルーティングとオーケストレーション

Mellum2は、プロンプト分類、ツール選択、中間制御フローステップを含むマルチモデルシステムにおける軽量なルーティングおよびオーケストレーションモデルとして機能します。

RAGパイプライン

このモデルは、コンテキスト圧縮、要約、検索後処理を含むレイテンシに敏感な検索パイプラインに適しています。

サブエージェント

Mellum2は、計画、検証、変換、コンテキスト準備などのエージェントサブタスクに使用でき、中間操作のために大規模なモデルを呼び出す必要性を減らします。

プライベートデプロイメント

Mellum2はオープンで提供が効率的であるため、独自のコードや内部データを含むセルフホスト環境にデプロイできます。

適切にスコープされたモデルが重要である理由

AIシステムが成熟するにつれ、最も効果的なアーキテクチャはモノリシックではなくなりつつあります。 単一のフロンティアモデルは強力ですが、本番システムではしばしばレトリーバー、ルーター、コード対応モデル、バリデーター、ツールコーラー、大規模推論モデルなど、複数の専門化されたコンポーネントが連携して動作する必要があります。 私たちはMellum2を「フォーカル」モデルと考えています。つまり、大規模なAIシステム内の高頻度タスクに最適化された、高速で適切にスコープされたモデルです。 目標はスタック内のすべてのモデルを置き換えることではありません。目標はスタックをより速く、より安く、より制御しやすくすることです。

Mellum2の始め方

IDE内、RAGパイプライン内、エージェントワークフローの一部、またはプライベートインフラストラクチャ上で、ソフトウェアエンジニアリング向けのAIシステムを構築している場合、Mellum2は 試す準備ができています。