AnthropicのClaude Sonnet 5が火曜日に登場した際には、コーディング、推論、エージェントタスク全般にわたる改善を示すベンチマークチャートも公開された。Sonnet 5のシステムカードは、それとは別の物語も語っている。それは、AIエージェントが自律的に行動し始めた後に何が起こるのかを示唆するものだ。

145ページに及ぶシステムカードでは、ベンチマークの向上に割かれるスペースは比較的少ない。代わりに、文書の大部分は、エージェントがウェブを閲覧し、ツールを使用し、長時間実行タスクを計画し、プロンプトインジェクションに抵抗し、実行が失敗した際に回復する方法を評価している。その回復方法は、Anthropicがエージェントを信頼できるものにするための次のエンジニアリング課題がどこにあると考えているかについて、少しだけ示している。

Sonnet 5のシステムカードでは、以前のLLM世代ではほとんど注目されなかった評価が導入されている。たとえば、第5章だけでも、コーディングエージェント、コンピュータ使用エージェント、ブラウザエージェントの悪意ある使用、自律的な影響工作、複数の攻撃対象におけるプロンプトインジェクション耐性が取り上げられており、適応型攻撃者によるコーディング、コンピュータ使用、ブラウザ使用環境に対するライブのバグバウンティプログラムによるテストも含まれている。

Anthropicはまた、SHADE-ArenaおよびLinuxArenaの結果も報告しており、これらはエージェントが隠れた目的を追求しながら指示に従っているように見せかける隠密行動を試みるかどうかを評価する。Sonnet 5のこれらの評価におけるステルス率はほぼゼロだったが、Anthropicがこれらの評価をそもそも実施しているという事実自体が、チャットウィンドウで良好に動作するモデルと、持続的な自律性を与えられた際に信頼できる動作をするモデルの間のギャップをどれほど真剣に捉えているかを示している。

プロンプトインジェクションの観点では、システムカードは3つの異なるエージェント表面（コーディング環境、コンピュータ使用、ブラウザナビゲーション）における堅牢性テストについて述べている。結果はSonnet 4.6より改善しているが、評価設計自体が示唆に富んでいる。Anthropicは、ウェブを閲覧するエージェントが訪問したページに埋め込まれた指示によってハイジャックされる可能性を徹底的に検証している。

エンジニアリングチームにとってこれが重要な理由

組織は、最小限の監督でインシデントを調査し、プルリクエストをレビューし、ドキュメントを更新し、内部システムをナビゲートし、ワークフローをオーケストレーションできるエージェントを求めている。これらのワークロードは、モデル自体をはるかに超える周囲のインフラに新たな要求を課す。

本質的に、それらはインフラパターンであり、エージェントがより長時間実行され、監督の少ない作業を引き受けるようになるにつれて、エンジニアリングチームが構築・維持する必要がある配管のようなものだ。

長時間実行タスクは、無数の方法で中断される可能性がある。たとえば、ツール呼び出しが実行途中でタイムアウトしたり、ブラウザセッションがリダイレクト後にコンテキストを失ったりする。各中断は、エージェントに何が変わったのかを理解させ、進捗を保持させ、どのように継続するか（または継続できないと判断するか）を決定させることを強いる。

エージェント向けのインフラパターン

Anthropic独自の評価インフラは、そうしたシステムがどのようなものかを垣間見せてくれる。システムカードでは、ツール結果のクリアリング（エージェントがコンテキストを蓄積する際に古いツール出力を削除する機能）や、アクティブなコンテキストウィンドウ外に情報を保持できるメモリツールなどの機能について述べている。

これらの機能は、エージェントがより長い期間にわたって動作する際に生じる実用的な問題を解決する。状態は複数のステップにわたって保持されなければならず、外部ツールは同期を保つ必要があり、エージェントが古いまたは不完全な情報で継続する前に障害を検知しなければならない。

エージェントのデプロイメントが破綻する場所

システムカードは、AnthropicがAI競争の行方をどのように見ているかについて、いくつかのヒントを提供している。まず、ベンチマークは収束しつつあり、標準評価におけるトップモデル間の差は縮小し続けている。収束していないのは、エージェントが2時間のコーディングタスクをコンテキストを失うことなく遂行できるかどうか、ウェブを閲覧する際に悪意あるページにハイジャックされないかどうか、API呼び出しが失敗した後に自力で回復できるかどうかである。

エージェントプラットフォームを評価するエンジニアリングチームにとって、システムカードは本番環境で重要となる質問のチェックリストとしても機能する。ベンチマークスコアは全体像の一部に過ぎない。プラットフォームが失敗したツール呼び出しをどのように処理するか、長時間実行タスクにわたって状態をどのように保持するか、エージェントがワークフロー途中でコンテキストを失った際にどのように回復するかを理解することも同様に重要である。これらは、自律システムがデプロイされた後も信頼性を持って動作し続けられるかどうかを決定する状況である。

YOUTUBE.COM/THENEWSTACK

Tech moves fast, don't miss an episode. Subscribe to our YouTube channel to stream all our podcasts, interviews, demos, and more.

Group Created with Sketch.