AIエージェントの未来を守る

2026年6月18日 責任と安全性

Rohin Shah and Four Flynn

高度で不完全な整合性を持つAIに対する内部システムの保護方法

AIエージェントは、私たちの技術との関係を変革しています。自律的に複雑なタスクを実行することで—サイバー防衛から科学的発見、製品開発まで—これらのシステムは新たな生産性の時代を切り開いています。米国だけで、AIエージェントは2030年までに2.9兆ドルの経済価値を生み出す可能性があります。

これらのエージェントがより高度になるにつれ、より洗練された保護手段も必要になります。そこで私たちは、Google内で展開する先進的なAIを構築・管理するためのフレームワークであるAIコントロールロードマップを開発しました。この「多層防御」アプローチは、業界全体のモデルとなり得るもので、従来のモデルアライメントを超え、整合性が不完全であっても保証を提供するシステムレベルのセキュリティという重要なレイヤーを追加します。

AIコントロールの理解

私たちのセキュリティアプローチは、サンドボックス化、エンドポイントセキュリティ、プロンプトインジェクション耐性などの伝統的な保護手段を組み込んだ強固な基盤から始まります。その上で、AIコントロールロードマップは、AIを本質的に安全で役立つものに訓練するモデルアライメントを一次防御として使用します。内部エージェントを潜在的に不整合なものとして扱うことで、整合性が不完全であっても保証を提供するセキュリティの追加レイヤーを提供します。

これは、運転教官がデュアルコントロールを備えているようなものです。教官は生徒を信頼しますが、ミスが発生した場合にいつでもハンドルを取ったりブレーキをかけたりする準備をしています。同様に、私たちのAIコントロールシステムは、検証された行動に基づいてAIエージェントに権限を付与し、制御された段階的なアクセスを通じて信頼を構築できるようにします。

私たちのロードマップは、シンプルだが慎重な前提に基づいて構築されています：高度な能力を持つAIエージェントが私たちの目標と整合せず、予期しない行動を取ったらどうなるか？これに対処するため、私たちの計画は3つの主要分野に焦点を当てています。

第一に、サイバーセキュリティのベストプラクティスに従い、AI向けの新しい脅威モデリングフレームワークを開発しました。ロードマップは、信頼できないAIエージェントを潜在的な「内部脅威」として扱います—会社がオフィスへのアクセスをすでに持つ潜在的な不正社員を扱う方法と同様です。業界標準のMITRE ATT&CKフレームワーク（現実世界の観測に基づく攻撃者の戦術と手法のグローバルにアクセス可能な知識ベース）を基盤として、潜在的な攻撃を小さな戦術と手法に分解します。これにより、リスクを体系的に追跡し、損害が発生する前に不正な行動を発見し、防御が実際に機能するかどうかをテストするための安全な訓練を実施できます。

第二に、これらのリスクに対処するためのAIコントロールの緩和策を展開する計画を策定します。

• 問題の特定（検知）：モニタリングはAIコントロールの基盤です。私たちは、他の信頼できるAIシステムを「監督者」として使用し、動作中のエージェントの推論、行動、計画を継続的にレビューして、軌道から外れていないかを確認します。
• 問題の管理（防止と対応）：監督者がエージェントが有害なことをしようとしているのを検知した場合、損害が発生する前にその行動をブロックするために介入できます。

最後に、システムが機能していることを確認するため、カバレッジ（監視されるトラフィックの割合）、リコール（検知される不整合な行動の割合）、応答までの時間の3つの重要な指標にわたってパフォーマンスを継続的に測定します。

AIが賢くなるにつれてセキュリティをスケールさせる

AIモデルが進化し続けるにつれ、私たちの防御もそれに合わせて強化する必要があります。AIコントロールロードマップでは、AI能力の測定可能なマイルストーンにセキュリティプロトコルを2つの重要な観点でマッピングしています：

• 検知を回避する能力：現在、私たちはモデルの可視的な思考の連鎖を監視しています。しかし、モデルが推論を隠すことを学習するにつれ—監視認識（監視されていることを知っている）または不透明な推論（可視テキストを使用せずに推論する）を通じて—単に言語化された推論を読むだけでは十分ではなくなります。行動を分析し、場合によってはモデルの内部動作を検査する必要があります。
• 潜在的な危害を及ぼす能力：低リスクで可逆的な行動については、トランスクリプトを遅延してレビューし、問題が発生した後に迅速に修復することで対応できます（非同期応答）。一方、特に高リスクの行動、例えば大規模なサイバー攻撃については、リアルタイムの防止にシフトし、有害な行動が実行される前にブロックする必要があります（同期応答）。言い換えれば、私たちの対応戦略は脅威の深刻度に合わせてスケールする必要があります。

100万件のエージェント軌跡を分析してライブモニタリングに活用

これらのシステムを構築するにはデータが必要です。私たちのチームは、コーディングエージェントの軌跡をレビューし、調査結果を人間のレビューにエスカレーションする非同期モニタリングシステムの内部プロトタイプを構築しました。各フラグ付きイベントは、ロードマップの脅威分類体系に対して分類されます。

すでに100万件のコーディングエージェントタスクを分析しており、安全プロトコルの改善に役立つ貴重な洞察を得て、単純なキーワードフィルタリングを超えて高信号の行動パターンを特定できるようにしています。例えば、この研究はGemini Sparkエージェントのライブモニター構築に役立ち、意図しないデータ削除などの新たな問題にリアルタイムで対応できるようになりました。

重要なのは、私たちのデータが示すところによると、フラグ付きイベントの大部分は敵対的な意図から来るものではなく、むしろユーザーの目標を達成しようとするエージェントの誤解や過剰な熱意から生じているということです。これらのニュアンスを理解することは、安全とセキュリティプロトコルの改善に不可欠です。

エージェントエコシステムの防御は共有の責任

AIコントロールロードマップは、エージェントセキュリティに対する多層アプローチの重要な要素の一つです。これらのプロトコルをより広範なインフラストラクチャと統合することで、最先端のAIモデルを安全に管理するための内部セキュリティをスケールさせています。

さらに、この多層的なエージェントセキュリティアプローチは、業界、政策立案者、学術界の協調的な優先事項であるべきです。エコシステムをベストプラクティスと標準に沿った形で整えることで、サイバー防御者を支援し、社会的レジリエンスを構築できます。そこで本日、私たちは政策立案者向けの技術フレームワーク、「エージェントセキュリティの3つのレイヤー」も公開します。この論文は、個々のエージェントレベル、マルチエージェントシステム内、そしてより広範なエコシステム全体でサイバー防御者を支援し、レジリエンスを構築するためにセキュリティを改善する必要がある方法を詳述しています。

私たちはこれらのフレームワークを基盤として、今日の能力あるAIを自信を持って展開しながら、将来のための安全な基盤を構築し続けます。

完全な技術レポートはこちら：

AIコントロールロードマップ

研究著者

Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, and Scott Coull.

謝辞

Four Flynn, Anca Dragan, Alan Cooney, Bilal Chughtai, Buck Shlegeris, Cody Wild, David Lindner, Julian Stastny, Kevin Klyman, Li Ding, Myriam Khan, Raluca Ada Popa, Roland Zimmermann, Ryan Greenblatt, Senthooran Rajamanoharan, Victoria Krakovna and Xerxes Dotiwalla.