記事一覧に戻る

Every Eval Ever (EEE) と Hugging Face Community Evals が相互互換になりました。評価結果の相互投稿と解釈を可能にし、オープンモデル、リーダーボード、統一された標準メタデータストアへのリンクを提供します。

EEE は 2026年2月に EvalEval Coalition のプロジェクトとして開始されました。これは、一次および第三者評価者によるAI評価結果の報告方法を改善するための、初の機関横断的な取り組みです。Hugging Face は2026年2月に Community Evals を開始し、ベンチマークスコアのHub上での報告方法を分散化しました。両者を組み合わせることで、ユーザー、研究者、政策立案者が評価やモデルを信頼し、理解し、選択する方法のギャップを埋めます。

評価結果は、モデルの能力を測定し、モデル同士を比較し、安全性やガバナンスについて推論するための手段ですが、まだ分散しており比較が困難です。論文、リーダーボード、ブログ投稿、ハーネスログなど、それぞれ独自の形式で存在しています。同じモデル、同じベンチマークでも、誰がどのように実行したかによって異なるスコアが報告されることがあります。例えば、LLaMA 65B は MMLU で 63.7 と 48.8 の両方が報告されています。これらの差異は、一般的に報告されていない評価設定に起因する可能性があります。

EEE は報告側の修正策です。評価結果のための単一のJSONスキーマで、以下の情報を記録します：

  • 誰が実行したか
  • どのモデルか
  • どのようにアクセスされたか
  • 生成設定
  • 指標が実際に意味すること
  • [推奨] サンプルごとの出力のための companion JSONL ファイル。

このスキーマは研究者や政策研究者のフィードバックをもとに構築され、あらゆるソースからの結果を受け入れるため、ハーネスログ、リーダーボードのスクレイピング、論文の数値などがすべて同じ形式になります。GitHubリポジトリにはコンバーター、サンプル、コントリビューターガイドが用意されています。開始以来、Hugging Face上のデータストアは、31の異なる報告形式から収集された、22,000以上のモデルと2,200のベンチマークにわたる約229,000件の評価結果に成長しました。これらの実行をゼロから再現するには数十万ドルの費用がかかるため、一度生成したデータを散逸させないための合理的な根拠となります。

スキーマの詳細や貢献方法についてはこちらをご覧ください。

現在は統合と帰属表示が強化されています。コントリビューターは EEE の結果を Hugging Face Community Evals に送信できるようになりました。EEE レコードを受け取り、Hugging Face が期待する小さな YAML ファイルを書き込むコンバーターを構築したため、同じ結果を2つの形式で手動管理する必要がなくなりました。

Eval Cards 上の検証済み評価者

これは既存の EEE コントリビューターだけでなく、評価を報告または参照するすべての人向けの新機能です。自身のモデルについて報告する一次評価者と、他者のモデルについて報告する第三者評価者の双方が Community Evals と EEE の両方に提出でき、Hub を閲覧する誰もが完全なレコードに遡れる結果を得られます。組織の公式 Hugging Face アカウントを通じてデータを送信すると、結果は EvalEval 上で 検証済みチェックマーク付きで表示され、数値が直接ソースから来ていることを読者に示すシグナルとなります。この記事の残りの部分では、Community Evals の内容とコンバーターの機能について説明します。

Hugging Face Community Evals と EvalEval の連携方法

Hugging Face Community Evals には2つの側面があります。

ベンチマークは eval.yaml を追加して自身を登録するデータセットリポジトリに存在します。登録されると、そのデータセットページは Hub 全体で報告されたすべてのスコアのリーダーボードを収集・表示します。公式ベンチマークのリストは時間の経過とともに増加します。

モデルのスコアはモデルリポジトリ内の .eval_results/*.yaml に保存されます。モデルカードに表示され、対応するベンチマークのリーダーボードに反映されます。モデル作成者自身の結果と、他者がプルリクエストを通じて提出した結果の両方が集約され、各スコアには作成者提出、コミュニティ提出、または独立検証のいずれかを示すバッジが付きます。誰でも適切な YAML ファイルで PR を開くことで任意のモデルにスコアを追加でき、モデル作成者は自身のリポジトリで PR をクローズしたり結果を非表示にしたりできます。

以下はこれらのリーダーボードの例です：

Hub 上の Humanity's Last Exam 向け Community Evals リーダーボード

ここで EEE と Community Evals が連携します。結果を両方に送信すると、2つのことが起こります。まず、スコアが Hugging Face のモデルページに表示され、ベンチマークのリーダーボードに取り込まれます。次に、ソースバッジが完全な EEE レコードに直接リンクし、生成設定、ハーネスバージョン、再現性に関する注記、インスタンスレベルのデータなどが確認できます。

SmolLM2 モデルページ上の EvalEval ソース

EEE データストアからの評価（MMLU-Pro）が (a) Hugging Face モデルカード (b) にファイルレベルで相互リンクされている例。Source EvalEval バッジは完全な JSON レコードにリンクします。

2つの宛先は同じ目標に向けた異なる役割を果たします。Hugging Face は結果を人々がモデルを確認する場所に配置し、ソースへのリンクを提供します。EEE は結果を解釈可能にする完全な構造化レコードを保持し、その上で Eval Cards を提供します。データを両方に送信することで、同じ評価が同時に可視化され、理解可能になります。これが報告の目的です。

以下の相互互換性をご覧ください。上記のモデルカードに表示される同じ GPQA スコアは、EEE 実行データとベンチマークおよびモデルメタデータを組み合わせて1つの解釈可能なレコードにする Eval Cards でも表示されます。同じ評価、異なる表示形式です：

仕組み

Hugging Face はモデルリポジトリに .eval_results/ 配下の YAML として評価スコアを保存します。必須フィールドはベンチマークデータセット、タスク、および値のみです。ソースブロックは EEE へのバックリンクを作成する部分です。

- dataset:
    id: openai/gsm8k
    task_id: gsm8k
  value: 96.8
  date: '2024-07-16'
  notes: '8-shot CoT'
  source:
    url: https://huggingface.co/datasets/evaleval/EEE_datastore/blob/main/flat/objects/<xx>/<yy>/<uuid>.json
    name: EvalEval

コンバーターは既存のレコードからこれを埋めます。 source_data.hf_repo を dataset.id に、evaluation_name を task_id に、score_details.score を value に、evaluation_timestamp を date にマッピングし、データストアオブジェクトの URL をソースリンクとして各レコードの EEE JSON に挿入します。現在、4つの公式ベンチマーク（MMLU-Pro、GPQA、HLE、GSM8K）に対応しています。

コンバーターはフィールドの再構成以上の処理を行います。 EEE データストアのコレクションを1つ指定すると、そのコレクションと参照されるレコードをダウンロードし、オブジェクトハッシュを検証し、サポートされているベンチマークにマッピングされるスコアを見つけます。実際に書き込む前に既存のものを監査します。モデルのメインブランチおよびオープンPR内のすべての .eval_results YAML を読み込み、ファイル名ではなくデータセットとタスクで比較します。スコアが既に存在する場合は already_present とマークし、異なるスコアが存在する場合は score_conflict とフラグを立て、モデルリポジトリが Hub 上で解決できない場合は missing_hf_model とマークします。その他はすべて ready とマークされます。

ユーザーの承認なしにプッシュされることはありません。 ツールはローカルの YAML プレビューと確認用のファイルを書き込み、準備完了と注意が必要な内容のレポートを表示し、OPEN PRS と入力してコミットメッセージを入力した後にのみ PR を開きます。再実行は --force を渡さない限り、コレクションのキャッシュされた結果を再利用します。

コンバーターの TUI

コンバーターの確認ステップ。除外されたエントリ（ここでは Hub リポジトリに一致するものがないモデル）は EEE ソース URL とともに一覧表示され、準備完了の PR は明示的な OPEN PRS 確認を待機します。

始め方

完全なレコードを EEE データストア に提出してください。

EEE の利用には、コンバーターが大部分を自動化する追加のステップが1つ必要です。community eval converter tool は GitHub リポジトリにあります。コレクションを処理するには以下を実行します：

uv run tools/hf-community-evals/community_evals_converter.py MMLU-Pro \
  --datastore evaleval/EEE_datastore@main

生成されたプレビューとレポートを確認し、送信準備ができたら OPEN PRS と入力してください。スキーマ、CLI、コンバーターの完全なドキュメントは evalevalai.com/every_eval_ever/hf-community-evals にあります。