記事一覧に戻る

大規模言語モデル（LLM）の急速に進化する状況において、「エコシステム」の構築がこれまで以上に重要になっています。この傾向は、Hugging FaceのNLP民主化やUpstageの生成AIエコシステム構築など、いくつかの主要な動きに見られます。

これらの業界のマイルストーンに触発され、2023年9月にUpstageでOpen Ko-LLM Leaderboardを開始しました。私たちの目標は、グローバルなオープンで協力的なAI開発の動きに合わせて、韓国LLMデータ向けの評価エコシステムを迅速に開発し、導入することでした。

Open Ko-LLM Leaderboardのビジョンは、活気ある韓国LLM評価エコシステムを育み、研究者が結果を共有し、LLM分野の隠れた才能を発掘することで透明性を促進することです。本質的に、私たちは韓国LLMの活動の場を拡大しようとしています。 そのために、個人が自らの韓国LLMを登録し、他のモデルと競争できるオープンなプラットフォームを開発しました。 さらに、韓国言語の独自の特性と文化を捉えるリーダーボードを作成することを目指しました。この目標を達成するため、Ko-MMLUなどの翻訳済みベンチマークデータセットが韓国の特徴を反映するように配慮しました。

リーダーボードの設計方針：公平性のために新しい非公開テストセットを作成する

Open Ko-LLM Leaderboardは、特に以下の独自のアプローチによるベンチマークが特徴です：

  • 英語ベースのベンチマークが主流であるのに対し、韓国語データセットを採用していること。
  • ほとんどのリーダーボードがテストセットを公開しているのに対し、非公開としていること：テストセットの汚染を防ぎ、より公平な比較フレームワークを確保するため、Open Ko-LLM専用の全く新しいデータセットを構築し、非公開のまま維持することにしました。

オープンなベンチマークを通じて研究コミュニティに幅広い影響と有用性をもたらす可能性を認識しつつ、より管理され公平な比較分析を促進する意図で、非公開のテストセット環境を維持する決定を下しました。

評価タスク

Open Ko-LLM Leaderboardは以下の5種類の評価方法を採用しています：

  • Ko-ARC (AI2 Reasoning Challenge)：Ko-ARCは科学的思考と理解力を評価するための多肢選択式テストです。科学的な問題を解決するために必要な推論能力を測定し、複雑な推論、問題解決スキル、科学的知識の理解を評価します。評価指標は正答率に焦点を当て、オプションの中から正しい答えを選択する頻度を反映し、科学原理を効果的にナビゲートして適用する能力を測ります。
  • Ko-HellaSwag：Ko-HellaSwagは状況理解力と予測能力を評価し、生成形式または多肢選択形式で実施します。ある状況が与えられたときに最も可能性の高い次のシナリオを予測する能力をテストし、状況に関するモデルの理解力と推論能力の指標となります。指標には、多肢選択形式か否かによって予測の質を評価する正解率が含まれます。
  • Ko-MMLU (Massive Multitask Language Understanding)：Ko-MMLUは多肢選択形式で幅広いトピックや分野にわたる言語理解力を評価します。この広範なテストは、さまざまな領域でモデルがどれだけ機能するかを示し、言語理解の汎用性と深さを示します。タスク全体の正解率とドメインごとのパフォーマンスが主要な指標となり、異なる知識分野の強みと弱みを強調します。
  • Ko-Truthful QA：Ko-Truthful QAは、モデルの真実性と事実正確性を評価するために設計された多肢選択式ベンチマークです。モデルが自由に応答を生成する生成形式とは異なり、この多肢選択形式では、モデルはオプションの中から最も正確で真実な答えを選択するタスクを課されます。このアプローチは、制約のある選択フレームワークの中で真実性と正確性を識別するモデルの能力を強調します。Ko-Truthful QAの主な指標は、モデルの選択の正解率に焦点を当て、既知の事実との整合性や提供された選択肢の中から最も真実な応答を特定する能力を評価します。
  • Ko-CommonGEN V2：Open Ko-LLM Leaderboardのために新たに作成されたベンチマークで、LLMが特定の条件の下で韓国語の常識に沿った出力を生成できるかどうかを評価し、韓国語で文脈的かつ文化的に適切な出力を生成するモデルの能力をテストします。

実際に稼働するリーダーボード：Ko-LLMのバロメーター

Open Ko-LLM Leaderboardは期待を上回る成果を上げ、1,000を超えるモデルが提出されました。比較すると、元の英語版Open LLM Leaderboardは現在4,000を超えるモデルをホストしています。Ko-LLMリーダーボードは、公開からわずか5ヶ月でその4分の1の規模を達成しました。この広範な参加に感謝しており、韓国LLM開発への活発な関心を示しています。

特に注目すべきは、個人研究者、企業、学術機関（KT、Lotte Information & Communication、Yanolja、MegaStudy Maum AI、42Maru、電子通信研究院（ETRI）、KAIST、Korea Universityなど）を含む多様な競争です。 注目すべき提出モデルの1つはKTのMi:dm 7Bモデルで、7Bパラメータ以下のモデルの中でトップのランキングを獲得しただけでなく、一般公開可能となり、重要なマイルストーンとなりました。

また、より一般的には、リーダーボードで強いパフォーマンスを示す2種類のモデルが観察されました：

  • クロスリンガル転移や韓国語でのファインチューニングを受けたモデル（UpstageのSOLARなど）
  • LLaMa2、Yi、Mistralからファインチューニングされたモデルで、ファインチューニングに堅固な基盤モデルを活用することの重要性を強調しています。

このような大規模なリーダーボードの運営には課題も伴いました。Open Ko-LLM Leaderboardは、特にHugging Faceモデルエコシステムとの統合において、Open LLM Leaderboardの理念に密接に沿うことを目指しています。この戦略により、リーダーボードはアクセスしやすくなり、参加者が参加しやすくなるため、運営において重要な要素となっています。しかし、16基のA100 80GB GPUに依存するインフラには制限があり、特に300億パラメータを超えるモデルを実行する際には過剰な計算リソースを必要とするため、多くの提出物が長時間保留状態になる課題に直面しています。これらのインフラ課題への対処は、Open Ko-LLM Leaderboardの将来の改善に不可欠です。

私たちのビジョンと次のステップ

現在のリーダーボードモデルには、現実世界の文脈で考慮した場合、いくつかの限界があると認識しています：

  • データの陳腐化：SQUADやKLEUなどのデータセットは時間とともに陳腐化します。データは継続的に進化・変容しますが、既存のリーダーボードは特定の時間枠に固定されており、毎日何百もの新しいデータポイントが生成される現在の状況を十分に反映していません。
  • 現実世界の反映の欠如：B2BおよびB2Cサービスでは、ユーザーや業界からデータが絶えず蓄積され、エッジケースや外れ値が継続的に発生します。真の競争優位性はこれらの課題にうまく対応することにありますが、現在のリーダーボードシステムにはこの能力を測定する手段がありません。現実世界のデータは永続的に生成され、変化し、進化しています。
  • 競争の意味の疑念：多くのモデルはテストセットで良好なパフォーマンスを発揮するよう特化してチューニングされており、テストセット内での別の形の過学習につながる可能性があります。したがって、現在のリーダーボードシステムは、現実世界中心ではなくリーダーボード中心で運用されています。

したがって、これらの問題に対処し、多くの人から信頼されるリソースとなるよう、リーダーボードをさらに発展させる計画です。現実世界のユースケースと強い相関を持つさまざまなベンチマークを組み込むことで、リーダーボードをより関連性が高く、ビジネスにとって真に役立つものにすることを目指します。私たちは学術研究と実務応用のギャップを埋めることを志向し、研究コミュニティと業界実務者の両方からのフィードバックを通じて継続的にリーダーボードを更新・強化し、ベンチマークが厳格で包括的かつ最新の状態を維持できるようにします。これらの取り組みを通じて、実用的かつ影響力のある問題を解決する大規模言語モデルの進歩を正確に測定し、推進するプラットフォームを提供することで、この分野の発展に貢献することを願っています。

データセットを開発されており、私たちとの共同研究にご興味がある方は、ぜひご連絡ください。[email protected]または[email protected]までお問い合わせください！

補足として、ベンチマークベースの評価とは異なり、実際のオンライン環境での評価は非常に意義があると考えています。ベンチマークベースの評価内でも、ベンチマークを毎月更新したり、ドメイン固有の側面をより具体的に評価したりする必要があり、このような取り組みを奨励したいと考えています。

パートナーの皆さまに感謝を

Open Ko-LLM Leaderboardの旅は、Upstageと韓国の主要な国家機関であるNational Information Society Agency（NIA）との間で、韓国スタイルのリーダーボードを開発するための協力合意から始まりました。このパートナーシップがスタートの合図となり、わずか1ヶ月でリーダーボードを立ち上げることができました。 常識的推論を検証するため、Korea UniversityのHeuiseok Lim教授の研究チームと協力し、KoCommonGen V2をリーダーボードの追加タスクとして組み込みました。 堅牢なインフラの構築は成功に不可欠でした。そのために、Korea Telecom（KT）のGPUリソースの寛大な提供と、Hugging Faceの継続的な支援に感謝します。Open Ko-LLM Leaderboardが自然言語処理のグローバルリーダーであるHugging Faceと直接的なコミュニケーションラインを確立し、新たな取り組みを推進するための継続的な議論を行っていることは励みになります。 さらに、Open Ko-LLM Leaderboardは、National Information Society Agency（NIA）、Upstage、KT、Korea Universityという信頼できるパートナーの名誉あるコンソーシアムを誇っています。これらの機関の参加、特に国家機関の参加は、この取り組みに大きな権威と信頼性を与え、言語モデルの学術的・実践的探求の基盤となる可能性を強調しています。