開発者はAIコーディングツールの実行コストに、より注意を払うようになっており、それも当然のことだ。GitHubは最近、選択したモデルに応じた使用量ベースの課金へCopilotを移行した。一方、AIエージェントのスタートアップは、AnthropicからDeepSeekへの切り替えにより数百万ドルの節約になると述べている。

こうした背景から、開発者はAIの応答に含まれる無駄な埋め草や装飾を減らすことでトークン消費を抑える方法を探している。最終的な目標は、内容を損なうことなく、できるだけ直接的かつ少ない単語で回答させることだ。この手法は「caveman mode（原始人モード）」と呼ばれるようになり、冠詞や文法を省き、古いシチュエーションコメディやアニメに登場するステレオタイプの原始人のような短くぶっきらぼうな断片で話すスタイルを指す。

実際、一部の開発者はこれをThe Grug Brained Developerから認識するかもしれない。これはCarson Gross（htmxの作成者）が書いた、長年にわたるソフトウェア設計に関するエッセイで、同じく崩れたぶっきらぼうなスタイルで書かれている。ただし今回は、コードの複雑さを対象とするのではなく、AI応答の冗長性を問題にしている。

“Skill make agent talk like caveman”

このアイデアはさまざまな形で現れている。エンタープライズ検索大手ElasticはElasticsearch向けに独自のバージョンを構築し、8つの社内テストシナリオで平均63.6%のトークン削減を報告した。

Sri Kolagani（ElasticのSalesforceエンジニアリング担当ディレクター）は、4月のブログ記事で、LLMが回答に付ける会話的な埋め草は、実際にはElasticsearchをクエリする際にコストになると述べている。必要なのはあいさつではなく、インデックス名、フィールドマッピング、ES|QLクエリだ。

“これは単に煩わしいだけでなく、高くつくのです”とKolaganiは書いている。“すべてのトークンに費用がかかり、レイテンシも増加します。本番環境のElasticsearchクエリでは、そのオーバーヘッドは急速に積み重なります。”

しかし、本当にviralになったのは、オランダ在住の開発者Julius BrusseeがGitHubに公開した無料のインストール可能なClaude Code skill cavemanだった。このスキルは数万のスターとフォークを集め、Hacker Newsなどのオンラインコミュニティでトップページの議論を呼んだ。

“これは単に煩わしいだけでなく、高くつくのです。すべてのトークンに費用がかかり、レイテンシも増加します。本番環境のElasticsearchクエリでは、そのオーバーヘッドは急速に積み重なります。”

スキル自身のCavemanスタイルでの宣伝文句はこうだ：

“Skill make agent talk like caveman. Why use many token when few do trick. Filler die. Code, commands stay byte-exact.”

そしてその主張する効果は？出力トークンの65%削減だ。

Caveman-talkの節約効果を実際に検証

JetBrains（IntelliJやRiderを含むIDEの開発元）は、この65%という見出しの数値をそのまま受け入れず、実際にこのスキルをテストすることにした。

オープンソースのエージェント評価フレームワークHarborと、AIエージェントスキルが実際にどれだけ役立つかを測定するためのコミュニティベンチマークSkillsBenchのタスクを使って、JetBrainsエンジニアのDenis Shiryaevは、7月のブログ記事で、Claude Code上で86の実際のコーディングタスクを対象に、スキルを有効にした場合と通常の未変更セッションを比較するペアベンチマークを実施したと述べている。

主張と実際の結果の差は小さくなかった。宣伝された節約効果：65%。JetBrainsが実際に測定した値：8.5%（テスト規模を拡大した後にようやくこの値に落ち着いた）。初期の10タスクのみの実行では、約30%に近い結果が出ていた。

この不足は、最終的に、スキルが実際のコーディングプロジェクトで扱えること・扱えないことと、見出しの数値が測定されたカジュアルなチャットボット的なやり取りとの違いに起因する。

“宣伝されている節約効果は、チャット形式の散文回答から来ています。エージェント的な出力は異なります。”

“宣伝されている節約効果は、チャット形式の散文回答から来ています。エージェント的な出力は異なります”とShiryaevは書き、コード、diff、ツール呼び出し、正確なエラーメッセージがトークンストリームの大部分を占め、このスキルはそれらをそのまま残すと指摘している。“ツール呼び出しの間のナレーションだけが圧縮されますが、その量は多くありません”と彼は付け加えた。

原始人のような話し方はClaudeを愚かにするのか？

このスキルがviralになった直後から懸念が浮上した。Redditのコメントでは、AIモデルに簡素化された、表現力の低いレジスタで回答させることで、推論能力が低下するのではないかという懸念が示された。

JetBrainsのベンチマークでは、少なくともテストしたタスクにおいては、その懸念は当てはまらないことが示唆された。86回のペア実行におけるタスクの結果は、スキル有効時と通常セッションの間で統計的に区別がつかないものだった。

ShiryaevのCavemanに対する総合的な評価は、「安全で、スタイルについては正直だが、節約効果については過大評価されている」というものだった。

“気に入ったら使えばいい”とShiryaevはそのブログ記事に書いている。“楽しいし、品質面で測定可能なコストはかかりません。ただし、日常的なエージェントタスクで大きな節約を期待してはいけません。現実的な上限は高1桁パーセント程度です。”

YOUTUBE.COM/THENEWSTACK

Tech moves fast, don't miss an episode. Subscribe to our YouTube channel to stream all our podcasts, interviews, demos, and more.

Group Created with Sketch.