Ai logo

多くのJetBrains製品にAI搭載機能を追加してツールを強化

Agentic AI AI AI Assistant

Denis Shiryaev

SkillsBench上でClaude Codeに対してトークン圧縮スキルCavemanのペアA/Bベンチマークを実施。実際にトークンを節約できるのか、エージェントの出力品質は低下するのかを検証。

宣伝されている節約率：65%。実測値：8.5%。

実際のエージェントタスクにおける出力トークンの節約率。スキルは強制的に有効化されている。これは上限値であり、通常ケースでの結果ではない。

なぜこの検証を行ったのか

JetBrainsではコーディングエージェント周辺ツールの適切なテストへの投資を増やしており、あるスキルが注目を集めました：「Caveman」。その売り込みは、まさにその独特な話し方で表現されています：

スキルでエージェントを原始人風に話させる。多くのトークンを使う必要はない。少ないトークンで十分。無駄な部分を排除。コードとコマンドはバイト単位で正確に保持。出力トークンを65%節約。毎回の応答で。永続的に。30以上のエージェントに対応。GitHubのスター多数。

私たちの考えは以下の通りです：

主張するのは簡単だが、検証するのは高コスト。エージェントはチャットウィンドウではない。エージェントの出力の大部分はツール呼び出し、ファイル編集、コードであり、スキルはこれらに触れないと約束している。そこでREADMEでは測定されていない2つの点を測定する：マルチステップのエージェント作業における実際の節約率と、エージェントの思考プロセスを圧縮することでタスクの結果が損なわれるかどうか。

セットアップ

ハーネスHarbor 0.17：Dockerサンドボックス化された試行、タスクレベル検証、ペア実行。
エージェントClaude Code 2.1.200、ヘッドレス、bypassPermissions。
モデルclaude-sonnet-5、推論エフォート low（--effort low）。
ベンチマークSkillsBench（benchflow/skillsbench）：87タスク中86タスク。各タスクは独自のテストで0-1スケールで自動評価され、1が解決済み、部分点も可能。
アームAno-skill：標準のClaude Code。
アームBwith-skill-forced--skillペアリングボリューム

「強制」であることの意味： Cavemanはユーザーによる有効化が必要。フレーズ「caveman mode」や「be brief」でトリガーされる。毎回の応答で強制的に有効化したため、以下の数値はスキルの最良ケースである。通常の使用では、エージェントが自ら有効化を判断する必要があるため、実現される節約率はここで測定した約10%の上限値と同等かそれ以下になる。

結果1：節約率は65%ではなく約8.5%

宣伝されている節約率はチャット形式の散文回答から得られている。エージェントの出力は異なり、コード、diff、ツール呼び出し、正確なエラーメッセージがトークンストリームの大部分を占め、Cavemanはこれらを正しくそのまま保持する。ツール呼び出し間のナレーションのみが圧縮されるが、その量は多くない。

3回の実行における強制Cavemanアームの出力トークン節約率。最初の小規模実行で見られた-29.5%という目立つ値は再現されず、大規模実行では節約率が-8.5%（82のペアタスクで592kから542k出力トークン）に収束した。宣伝されている-65%はグラフの範囲外。

結果2：出力品質の低下は検出されず

実際に懸念した点：エージェントを簡潔にすることで性能が低下するのか。完全実行における82のペアタスクで、答えは「いいえ」：両アームは統計的に区別できない。

完全実行におけるタスクごとのペア結果。18の非同値に対する符号検定：p = 0.82で、有意差とは程遠い。平均タスクスコアはベースラインが0.326、スキルアームが0.311で、0-1スケールで-0.015の差。
アームごとの平均タスクスコア。サンプルサイズが増えるにつれて初期の懸念される差は縮小：これはノイズのパターンであり、実際の効果ではない。個別のタスクは両アームで繰り返し試行時に合格/不合格が自由に入れ替わる。

スタイル変換自体は設計通りに機能：強制アームのトランスクリプトは明確に原始人風である一方、コード成果物は変更されずに通常の状態で保持される。

結果3：コスト節約は実在するが不安定

コストは約8.5%のトークン節約に追随するため、スキルアームは約10%安くなるはずであり、タスクごとにはその通りである。しかし完全実行の生のアーム合計では、スキルアームが11.6%高額：40.60米ドル vs 36.39米ドル。この逆転は1回の試行によるもの：依存関係監査タスクがスキルアームで200kロングコンテキスト価格帯を超えて課金され、8.29米ドル vs 0.33米ドルとなった。以前の実行では同じタスクがベースラインアームで3.25米ドルの外れ値を記録した。これはタスクの特性であり、スキルの問題ではない。

結論

安全でスタイルについては正直だが、節約率は過大評価。 強制的に有効化すると、Cavemanはエージェントの生成物に測定可能な損害を与えることなく、エージェントの話し方を確実に変更する：82のペアタスク、符号検定p = 0.82。しかし実際のエージェント作業では、出力トークンの約8.5%、コストの約10%を絶対的な最良ケースで削減する。なぜならエージェントセッションを支配するトークンはコードとツール呼び出しであり、スキルはこれらを意図的に保持するためである。宣伝されている65%はチャット形式のQ&Aに属するものであり、コーディングエージェントには当てはまらない。

推奨： 気に入れば使用してください。楽しく、品質に測定可能なコストはかかりません。ただし日常的なエージェントタスクで大きな節約を期待しないでください：現実的な上限は一桁台後半のパーセンテージです。

  • 品質： 検出可能な低下なし：8タスクが改善、10タスクが悪化、64タスクが同等。平均タスクスコアは0-1スケールで0.015の差（p = 0.82）。
  • トークン： 強制有効化で出力トークン-8.5%。これは上限値であり、自動トリガー使用ではより少なく、または全く節約されない。
  • コスト： 期待値で約-10%。単一試行のばらつきで容易に相殺される。
  • 方法論ボーナス： 最初の10タスク実行では「-30%」のトークン節約が示された。これはサンプルサイズが増えるにつれて消滅した。k=1の評価を信用してはならない。

次の検証してほしいスキルはありますか？コメントで名前を教えてください。少ない言葉で十分。検証します。

実行詳細：Harbor 0.17；claude-sonnet-5（推論エフォートlow）；SkillsBench 87タスク中86；約240回の試行；合計約106米ドル支出。

JetBrains AI Blogの更新を購読

さらに詳しく