MosaicLeaks: 研究エージェントは秘密を守れるか？

記事一覧に戻る

TL;DR

ディープリサーチエージェントは、プライベートなローカル文書とウェブ検索などの外部ツールを組み合わせるケースが増えており、プライバシーリスクが生じています。エージェントが外部に発行するクエリが機密情報を漏洩させる可能性があるためです。MosaicLeaksは、パブリック情報とプライベート情報を織り交ぜたマルチホップ質問を扱う新しいディープリサーチタスクを提案します。テストしたモデルの多くで、エージェントがプライベート情報を頻繁に漏洩させることが判明しました。また、タスク性能のみを目的とした学習を行うと、漏洩が悪化する傾向が見られました。そこで、モザイク漏洩を考慮したRL学習手法としてPrivacy-Aware Deep Research (PA-DR)を提案します。この手法により、厳密なチェーン成功率（すべてのホップで正しく回答されたチェーンの割合）を48.7%から58.7%に向上させつつ、回答/完全情報漏洩率を34.0%から9.9%に低減しました。

ディープリサーチエージェントにおけるプライバシー漏洩

医療関連企業で働くリサーチエージェントが日常的な質問に取り組んでおり、その過程で一見普通のウェブ検索をいくつか発行したとします。あるクエリはクラウド移行のマイルストーンを参照し、別のクエリは2024年1月のセキュリティ開示を指し、さらに別のクエリはどのベンダーが攻撃を受けたかを絞り込みます。単一のクエリでは必ずしも秘密全体が明らかになるわけではありません。しかし、エージェントの送信トラフィックを監視している者がいれば、断片を再構成して「MediConnは2025年1月までにインフラの70%をクラウドに移行した」という、元々プライベート文書にしか存在しなかった事実を明らかにできます。これがモザイク効果であり、MosaicLeaksの中心にある失敗モードです。

MosaicLeaksは、これらのウェブクエリを漏洩チャネルとして扱います。敵対者はプライベート文書やエージェントの推論過程を見ることはできず、累積的なクエリログのみを観測し、そこから企業のプライベート情報を推測しようとします。

漏洩の測定は、敵対者が観測したクエリから何を推測できるかに応じて3つの方法で行います。

これら3つは、懸念の度合いが徐々に高くなる関係にあります。意図漏洩はエージェントが何を調査しているかを明らかにします。回答漏洩は、クエリログにすでに手元にあるプライベート質問に回答できるだけの情報が含まれていることを意味します。完全情報漏洩は最も深刻なケースで、観測者が何を探すべきかを指示されなくてもプライベートな事実を発見し、述べることができます。

モザイク効果がMosaicLeaksの3つの漏洩指標をどのように駆動するかを示す図：意図（リサーチ質問を予測）、回答（プライベート文書に関する与えられた質問に回答）、完全情報（検証可能な真のプライベートな主張を述べる）。ここでは、エージェントがLee's Marketの2020年のトラフィック成長について2回検索し、意図を漏洩させた後、フォローアップに回答するための3回目のクエリを発行しています。各クエリは単独では無害に見えますが、まとめて見ると、観測者は回答が15%であることを推測でき、「Lee'sのオンライントラフィックは2020年に15%成長した」と主張できるようになります。

MosaicLeaksの構築

MosaicLeaksには、ローカル企業の文書と制御されたウェブコーパスを用いた1,001件のマルチホップリサーチチェーンが含まれています。目的は、企業文書からのプライバシー漏洩を誘発しやすい一方で、漏洩せずに解決可能なタスクを作成することです。

各チェーンはローカルとウェブのサブ質問を交互に配置しており、あるサブ質問の回答が次のサブ質問のブリッジエンティティとなるため、エージェントは次の有用なウェブクエリを形成する前にローカル情報を取得する必要があります。ローカル文書はDRBenchスタイルの企業タスクから、ウェブ文書はBrowseComp-Plusから取得しています。最終的な分割は、559件の学習チェーン、98件の検証チェーン、344件の非公開企業テストチェーンとなっています。

チェーンの例

MediConnのクラウド移行チェーン

最後のウェブホップ自体にはプライベート情報は含まれず、パブリックなウェブ文書から回答可能です。しかし、その経路がプライベートなローカル事実に依存しているため、「MediConn」「70%」「1月」を引き継ぐクエリは、敵対者に内部情報を回復するのに十分な文脈を与えます。

エージェントハーネス

DRBenchを基にした簡易化されたエージェントハーネスを使用します。モデルは各サブ質問に対して短い回答と根拠を出力し、正規化文字列マッチングで各ホップを個別に評価できます。

各イテレーションで、モデルは4つのツールを使用できます。Planはローカル検索クエリとウェブ検索クエリを生成し、それらは実行されて文書カードとして返されます。Chooseは読み込む取得済み文書を選択します。Readは選択した各文書から現在のホップの回答を並列に試みます。Resolveは回答するか、さらに文書を読むか、別の検索を計画するかを決定します。

1回のエージェントロールアウト。各行はホップで、ローカル（L）またはウェブ（W）と受理された回答がラベル付けされています。色付きブロックは、そのホップの計画・取得・選択・読込・解決に費やされた実時間を示しています。

エージェントに漏洩しないよう指示するだけでは不十分か？

obviousな対策は、単に指示することです。Planプロンプトに「ローカル情報を漏洩させるウェブクエリを発行しないように」と一行追加し、パフォーマンス、漏洩、クエリ行動への影響を確認します。

このプロンプトは一部のモデルでわずかに効果を発揮しますが、その効果は一貫性がなく、依然として重大な漏洩が残ります。また、タスク性能に負の影響を与える場合もあります。Qwen3-4Bの場合、プロンプトにより回答/完全情報漏洩率は34.0%から25.5%に低下しましたが、厳密なチェーン成功率は48.7%から44.5%に低下しました。主な行動変化はウェブクエリの減少であり、クエリ構成の安全性の向上は一貫していませんでした。

ローカル情報を漏洩させる可能性のあるウェブクエリを控えるよう促すプロンプトの有無による、厳密なチェーン成功率とプライバシー漏洩の比較。プロンプトは一部のモデルで漏洩をわずかに減少させますが、依然として substantial な漏洩が残ります。

エージェントを改善すると漏洩が増加した

プライバシーを考慮した学習を行う前に、まず obvious なことを試しました。より多くのチェーンを正しく解決するようエージェントのみを学習させることです。これは成功しました。厳密なチェーン成功率は48.7%から59.3%に上昇しました。しかし、回答/完全情報漏洩率も34.0%から51.7%に上昇しました。モデルはウェブクエリに多くの文脈を詰め込むことを学習し、正しい文書を取得するのには役立ちましたが、観測者により多くの断片を提供するため、プライバシーを損ないました。

これがMosaicLeaksが明らかにした中心的な緊張関係です。より情報量の多いクエリは、タスクにとってはしばしば良いが、プライバシーにとっては悪いものです。PA-DRは両方を同時に学習させるために構築されました。

エージェントに安全な検索を教える：PA-DR

PA-DRは2つの報酬を組み合わせます。

1つ目は状況依存のタスク報酬です。1回のリサーチ軌道は数十回のモデル呼び出しに及ぶ可能性があるため、すべてに同じ最終軌道スコアを与えるのは信用割り当てが弱くなります。成功した実行が漏洩のある検索を強化し、失敗した実行がローカルで健全な判断を罰する可能性があります。そこで、各呼び出しを、同じ段階・同じホップ・同じ利用可能情報で生成された他の呼び出しと比較して評価します。Plan呼び出しは、正しいソースを検索し、正しい文書を取得した場合に報酬が与えられます。その文書がすでに手元にある場合は、再検索しないことで報酬が与えられます。Choose呼び出しは、回答を含む文書を選択した場合に報酬が与えられます。これらの段階を学習するのは、望ましい行動が直接確認できるためです。

2つ目は学習されたプライバシー報酬です。エージェントがウェブクエリを生成するたびに、Qwen3-4B分類器が2つのリスクを推定します。現在のクエリが直接プライベート情報を漏洩させるかどうか、および既存のクエリログに追加することで新たなモザイク漏洩が発生するかどうかです。PA-DRは2つのうち大きい方のリスクをペナルティとするため、クエリログをより露呈させる計画決定に正確にプライバシーコストが課せられます。

ベース、タスクのみ、PA-DR学習におけるタスク性能と漏洩のトレードオフを示す図。タスクのみのRLはリサーチ性能を向上させるが漏洩も増加させる。PA-DRは性能向上のほとんどを維持しつつ、漏洩を大幅に低減する。

この9.9%は、未学習のベースモデルの34.0%よりも低い値です。プライバシーを学習したことで、性能学習が導入した漏洩を単に相殺しただけではなく、学習開始時よりも漏洩が少ない状態になりました。

また、単に検索回数を減らすことで安全になったわけではありません。PA-DRは実際にはベースモデルよりも多くのウェブクエリを発行しますが、それらのクエリから「15%」や「2024」などの露呈する詳細や、探している回答の種類に関する手がかりが削除されています。エージェントは依然として正しいパブリック文書を見つけます。ただ、プライベートな断片をクエリテキストに持ち運ぶのをやめたのです。

詳細分析：状況依存報酬とサンプル効率

状況依存報酬は、学習中にも2度目の効果を発揮します。ロールアウト全体に一度だけスコアを付けるのではなく、一致する呼び出し同士を比較するため、信用割り当てをはるかに正確に行え、別途価値モデルを必要とせず、ロールアウト間のステップインデックスの整合も不要です。また、サンプル効率も非常に高く、状況依存タスク報酬は、アウトカムのみのRLと同じタスク性能を、生成された学習サンプルを約5〜6分の1で達成します。PA-DRはこの効率を維持しつつ、プライバシー向上も実現します。

学習効率。最後の列は、各手法が約55%の厳密なチェーン成功率に到達するために必要な生成サンプル数を示します。値が小さいほど優れています。

状況依存報酬は、アウトカム報酬レベルのタスク成功率を、生成サンプルを約5〜6分の1で達成します。PA-DRはこのサンプル効率の利点を維持しつつ、漏洩を大幅に低減します。

本研究の限界と示すもの

MosaicLeaksは制御されたベンチマークであり、実際に運用されているシステムでの漏洩測定ではありません。企業文書は合成データであり、ウェブコーパスは固定されており、チェーンは3つの企業文脈にまたがり、すべての結果はオープンドリサーチではなくマルチホップ質問応答を実行する単一のエージェントハーネスから得られたものです。この制御により、ホップごとに漏洩を測定可能になりましたが、より広範なタスク、実際の運用、他のエージェント設計については、別途研究が必要です。

結論はシンプルです。プロンプトでプライバシーを実現することはできません。学習によってプライバシーを組み込む必要があります。エージェントに注意するよう指示するだけではほとんど効果がなく、各クエリをどのように構築するかを報酬で評価することで、漏洩を3倍以上削減し、タスク成功率はほぼ維持できます。モザイク効果は、エージェントが時間を通じてどのように検索するかに起因しており、それを測定し、信用を割り当て、学習によって低減できることがわかりました。

引用

@misc{gurung2026mosaicleaks,
  title  = {MosaicLeaks: Privacy Risks in Querying-in-the-Open for Deep Research Agents},
  author = {Alexander Gurung and Spandana Gella and Alexandre Drouin and Issam H. Laradji and Perouz Taslakian and Rafael Pardinas},
  year   = {2026},
  eprint = {2605.30727},
  archivePrefix = {arXiv},
  url    = {https://arxiv.org/abs/2605.30727}
}