Math-VerifyによるOpen LLM Leaderboardの修正

記事に戻る

3週間前、私たちは数学の問題におけるLLMのパフォーマンスを正しく評価することがいかに難しいかを示し、数学のモデル検証のためのより良いソリューションであるMath-Verifyを紹介しました（発表で詳しく読むことができます）！

本日、私たちはMath-Verifyを使用して、Open LLM Leaderboardにこれまで提出されたすべての3,751モデルを徹底的に再評価したことを嬉しくお知らせします。これにより、より公平で堅牢なモデル比較が可能になります！

Open LLM Leaderboardにおける数学評価が破綻していた理由

Open LLM LeaderboardはHugging Face Hubで最も利用されているリーダーボードであり、さまざまなタスクにおけるオープンな大規模言語モデル（LLM）の性能を比較します。これらのタスクの1つであるMATH-Hardは、数学の問題に特化したものであり、高校および大学レベルの数学問題をLLMがどれだけ解けるかを評価します。Hendrycks MATHデータセットから、7つのトピック（precalculus、prealgebra、algebra、intermediate algebra、counting/probability、number theory）にわたる最高難易度の問題（Level 5）を1,324問使用し、5-shotアプローチ（モデルに5つの例をプロンプトで提供して回答方法を示す）で評価します。

典型的な問題は次のようになります：

For all real numbers $r$ and $s$, define the mathematical operation $\#$ such that the following conditions apply: $r\ \#\ 0 = r, r\ \#\ s = s\ \#\ r$, and $(r + 1)\ \#\ s = (r\ \#\ s) + s + 1$. What is the value of $11\ \#\ 5$?

これに対する答えは次のようになります：

71

リーダーボードでは、モデルは（Minerva-Math論文に従って）非常に特定の文字列で回答を終える必要があります：

“Final answer is [ANSWER]. I hope it is correct.”

リーダーボードはその後、[ANSWER]をSymPyで解析して記号表現に変換し（必要に応じて値を簡略化）、最後にゴールドターゲットと比較します。

しかし、ユーザーからは上記の問題がいくつか報告されました。

まず、繰り返し発生する問題は、一部のモデルが例から期待される回答形式に従えないことで、回答を紹介するために他の文を出力してしまうことでした。形式が守られなかったため、実際には正しい回答であっても誤りとマークされてしまうのです！（「モデルが数学においてどれだけ優れているか」という点に興味がある場合には問題となります）。

次のステップである[ANSWER]の記号表現への変換でも、SymPy解析に関連する問題が発生しました：

最後のステップである、抽出された回答とターゲット式の比較でも、いくつかの問題が発生しました：

これらのすべての問題は、新しいMath-Verifyパーサーによって完全に修正されました！

数学で最高のモデルはどれか？より公平な評価のおかげでカードの完全なシャッフル

これらの問題はすべて蓄積する傾向があるため、一部のモデルは深く苦しみ、そのパフォーマンスは強く過小評価されていました。そこで、以前の評価器を削除し、Math-Verifyを追加しました。これはわずか3行のコードを変更するだけで済みました！（皆さんも数学の評価で試すことができます！）

これにより、6月以降に提出されたすべてのモデルを再評価することになり、MATHサブセットにおけるリーダーボードのトップ20モデルは完全に刷新されました。

変更の影響

平均して、モデルはボード全体で61問多く解けるようになり、ボード全体で4.66ポイントの増加に相当します！

最も大きな改善を示した2つのサブセットは、どちらも代数関連（AlgebraとPrealgebra）で、それぞれ8.27と6.93の増加でした。極端なケースでは、一部のモデルがこれらのサブセットでほぼ90ポイントの改善を示しました。 これらのサブセットが最大の改善を見せた理由は、複数の解を持つ問題により答えが集合として提示されることが多く、行列も頻出するためだと考えられます。Math-Verifyはこれらの回答タイプの処理を強化し、これらの顕著な改善に寄与しました。

モデルファミリーの変化

私たちは当初、Qwenモデルの検査中に数学評価の問題を発見しました。これは自己申告のパフォーマンスと比べて異常に低いスコアだったためです。Math-Verify導入後、これらのモデルのスコアは2倍以上になり、以前のパフォーマンスが深刻に過小評価されていたことが示されました。

しかし、Qwenモデルだけではありません。もう1つの大きな影響を受けたファミリーはDeepSeekです。Math-Verifyに切り替えた後、DeepSeekモデルのスコアはほぼ3倍になりました！これは、彼らの回答が通常(\boxed{})表記で囲まれており、古い評価器では抽出できなかったためです。

MATH-Hardリーダーボードの変化

冒頭で述べたように、トップ20ランキングは大幅に変動し、NvidiaのAceMathモデルがMATH-Hardリーダーボードを支配するようになりました。この変更のもう1つの大きな受益者はQwenの派生モデルで、AceMathのすぐ下にほぼ独占的にランキングされるようになりました。以下は、旧トップ20と新トップ20のリーダーボードランキングを比較した完全な表です：

リーダーボードの変化

最後に、全体のリーダーボード結果がどのように変化したかを調査しました。トップ4の位置は変わりませんが、それ以外は大幅に変動しました。MATHサブセットで複数のQwen派生モデルが台頭したため、全体結果におけるQwenモデルのトップ20への存在感はさらに高まりました。

他の多くのモデルもランキングで大きく躍進し、200位以上順位を上げました！詳細な結果はOpen LLM Leaderboardで確認できます。

まとめ

Math-Verifyの導入により、Open LLM Leaderboardの評価の正確性と公平性が大幅に向上しました。これによりリーダーボードのシャッフルが発生し、多くのモデルでスコアが大幅に改善されました。

すべての開発者と研究者に、自身の数学評価にMath-Verifyを採用することをお勧めします。これにより、モデルがより信頼性の高い結果で評価されることを保証できます。また、更新されたランキングを探索し、お気に入りのモデルのパフォーマンスがどのように変化したかを確認することをお勧めします。