最も高性能なモデルを最低コストで探し求めることは、常に目標とされてきました。しかし、エージェント型AIが進化するにつれ、エンジニアを悩ませる新たな問題が生じています。それは、トークン消費がAIシステム全体で高くなりすぎていることです。すべてのエージェント操作がトークンを消費しますが、その消費の仕方は大きく異なります。たとえば、中程度に複雑なエージェントリクエストは推論チェーン全体で20,000〜60,000トークンを消費する可能性がありますが、非自明なエンジニアリングタスクでは1件あたり150,000〜200,000トークンを消費することもあります。

すべてのエージェント操作がトークンを消費しますが、その消費の仕方は大きく異なります。

開発者は、適切なモデルを選択することが重要であることに気づきつつも、より大きな問題はエージェントのワークフロー全体で不要なトークンの移動を制限することだと認識しています。そのため、チームはより少ないトークンで同じタスクを達成する方法を検討し始めています。

エージェント間でのコストの累積

コストは急速に積み重なります。1つのエージェントで約50,000トークンで済むタスクでも、複数の専門エージェントを組み合わせると、数十万トークンを簡単に消費する可能性があります。これは、それぞれのエージェントが自身の仕事を遂行するために十分なコンテキストを必要とするためです。エージェントが500トークンの応答を返すために30,000トークンのコンテキストを処理することは珍しくなく、これらのやり取りはワークフローの過程で累積します。各ハンドオフでは、実質的に入力トークンに「税」が課せられ、ループの反復ごとに複利的に増加します。

各ハンドオフでは、実質的に入力トークンに「税」が課せられ、ループの反復ごとに複利的に増加します。

これは特にマルチエージェントアーキテクチャで顕著です。あるエージェントが別のエージェントに委譲する場合、現在の状態とタスク指示を下流のエージェントのコンテキストウィンドウにエンコードする必要があります。受信側のエージェントはそれらすべてを処理し、結果を生成して返します。次に、オーケストレーション側のエージェントは、それを自身が追跡している他のすべての情報とともに再び取り込みます。すべてのやり取りがオーバーヘッドの別のレイヤーを追加します。

トークン効率の高いアーキテクチャの構築

この問題に対処する戦略が徐々に増えています。実践的な解決策として、以下の3つが際立っています。

コンテキストを圧縮し、推論を保持する

最も直接的な解決策は、エージェントがステップごとに持ち運ぶコンテキストの量を減らすことです。常に増え続ける対話履歴を蓄積してタスクごとに再生するのではなく、会話やワーキングメモリの以前の部分を要約してから次のステップに渡すことができます。

その方法の1つは、エージェントの視野を狭めることです。コードベース全体やドキュメントコレクション全体を渡すのではなく、タスクに関連する部分のみをシステムが提示します。ただし、やりすぎると、エージェントが後で必要になる重要なコンテキストを失う可能性があります。

これを機能させるためには、圧縮されたコンテキストと並行して、主要な事実と決定事項を格納するコンパクトなメモリレイヤーが必要です。エージェントは、毎回読み直すことなく推論チェーンを思い出すことができなければなりません。

タスクを安価なモデルにルーティングする

階層型ルーティングにより、エンジニアはシステム設計をアーキテクトする際に使用するのと同じモデルを使わずに、JSON応答の解析、ログエントリのフォーマット、ファイルの存在確認などを行うことができます。各サブタスクを、確実に実行できる最小のモデルに割り当てます。たとえば、軽量モデルがルーチンの分類、抽出、フォーマットステップを処理し、より適切なモデルが真に深い推論を必要とする決定を扱います。

したがって、エージェントのステップの60〜70％がルーチン操作である場合、より小さなモデルでその作業を処理でき、コストを大幅に削減して、ワークフロー全体のトークン消費を抑えることができます。

推論をキャッシュし、重複をスキップする

そこでセマンティックキャッシングが役立ちます。同じ問題を2回解く代わりに、エンベディングを使用して新しいリクエストの意味を比較します。一致度が十分に近い場合、エージェントは新しい推論チェーンを生成する代わりに、以前の作業を再利用できます。

この節約効果は、特に1日中類似の質問に答えるカスタマーサポートシステムや、数千のほぼ同一のファイルを処理するドキュメント処理パイプラインなどで顕著です。このようなシナリオでは、以前の推論を再利用することで、組織が消費するトークン数を大幅に削減できます。

本当に重要なものを測定する

ただし、これらのワークフローは、チームがその影響を確認できて初めて価値を発揮します。多くの組織は依然として、それらを効果的に測定する方法を模索しています。 poorly designed agent loops や非効率なマルチエージェントハンドオフは、リクエストごとの料金だけを見ていると見えにくい形でコストを支配する可能性があります。

トークンに集中しすぎるのも容易です。エージェント型アプリケーションを実行するには、GPU、メモリ、ベクトルデータベース、および本番環境ですべてを監視するためのツールにも費用がかかります。トークンを節約することは役立ちますが、スタックの残りの部分が高価なままでは問題全体を解決できません。

AIインフラの次のフェーズ

次世代のシステムは、より優れたアーキテクチャ上の決定に基づいて構築されることにますます重点が置かれています。つまり、コンテキスト管理、モデル呼び出し、タスク分解、中間作業の再利用が、推論価格やベンチマークスコアと同様に重要になりつつあります。

モデルの能力は引き続き向上し、推論コストは低下するでしょう。しかし、自律型エージェントが組織がAIアプリケーションを構築する主流の方法になる場合、最も効果的にスケールするシステムは、最も安価なモデルを備えたものではなく、トークンを最も無駄にしないシステムになるでしょう。

最も効果的にスケールするシステムは、最も安価なモデルを備えたものではなく、トークンを最も無駄にしないシステムです。

YOUTUBE.COM/THENEWSTACK

Tech moves fast, don't miss an episode. Subscribe to our YouTube channel to stream all our podcasts, interviews, demos, and more.

Group Created with Sketch.