Adha AK

今日のLLM評価フレームワークはそれぞれ独自のテストケース形式、独自のgrader定義、そして独自の結果スキーマを発明しています。DeepEval、Promptfoo、Inspect AI、lm-evaluation-harnessはすべて同じコアの問題（モデルの出力が正しいかどうかを確認する）を解決していますが、どのフレームワークも互いの評価データセットを読み取ることができません。

つまり、チームがフレームワークを比較したり、ノートブックのプロトタイプから本番の評価パイプラインに移行したりするたびに、同じテストケースを手書きで何度も書き直すことになります。

OpenEvalは、評価テストケース、grader、結果のための小さく移植可能なJSON Schemaを定義し、データを再入力する代わりにフレームワーク間で移動させるためのツールを提供することで、この問題を解決しようとする試みです。

リポジトリの内容:

テストケース、grader設定、結果レコードのためのバージョン管理されたJSON Schema仕様。

OpenEval形式のデータセットを読み書きするためのTypeScriptおよびPython SDK。

validate、convert、init、summarizeコマンドを備えたCLI。

人気のフレームワーク用のコンバーターで、既存のデータセットを手動で書き直すことなくインポートまたはエクスポートできます。

このプロジェクトはv1.0.0をnpmとPyPIに公開したばかりで、17以上のフレームワーク統合に関するissueがオープンされており、まだカバーされていないフレームワーク用のコンバーターを配線したい方がいればぜひご協力ください。

リポジトリ: https://github.com/adhabnr-ux/openeval

評価ツールの切り替え中に同じ移植性の問題に直面した方からのフィードバックをお待ちしています。