アーカイブ / AI Agent / LLM
社内文書を使う調査エージェントは、外部検索語から何を漏らすか
MosaicLeaks / Privacy-Aware Deep Research
MosaicLeaks / Privacy-Aware Deep Researchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 9 : Chain success and privacy leakage over the course of MosaicLeaks RL training, for both task-performance-only training and Privacy Aware-Deep Research (PA-DR). We see that PA-DR achieves many of its privacy gains over the base model early in its training, but takes another leap around half-way through. In contrast, task-performance-only training worsens privacy leakage considerably early in training, and only sees a small drop in leakage late in training.
概要
- 外部検索語を積み重ねると、社内文書の情報を推測できる場合がある。
- MosaicLeaksは社内文書と公開文書をつなぐ1,001件の連鎖課題で、回答の正しさと検索語からの漏えいを測る。
- 著者らの評価では、Qwen3-4B-InstructにPA-DRを適用すると、連鎖課題の成功率は48.7％から58.7％へ、回答または完全情報の漏えいは34.0％から9.9％へ変わった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MosaicLeaks / Privacy-Aware Deep Researchの仕組み
- 01社内文書と小問
- 02検索語を計画
- 03候補文書を選択
- 04文書を読んで回答
- 05次の小問の短答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
社内文書を参照する調査エージェントは、回答に必要な公開情報を探すため、外部にも検索語を送る。その語句に社内文書から得た手掛かりが入ると、検索先から秘密を推測されるおそれがある。
個々の検索語は無害に見えても、履歴を合わせると情報が見える「モザイク効果」が問題になる。本研究は、社内情報を使って次の公開情報を探す課題を作り、回答の正しさと検索語からの漏えいを同時に調べる。
手法
MosaicLeaksでは、社内文書と公開文書に関する小問を連結し、前の答えを次の小問に必要な語として使う。エージェントは検索を計画し、候補文書を選び、文書を読んで短い答えを出す。例えば社内文書から得た成長率を手掛かりに公開文書を探すと、その検索語と先行する検索語の組み合わせから社内の事実を推測され得る。
PA-DRは検索計画と文書選択を強化学習で調整する。強化学習とは、行動の結果に報酬を与えてモデルを更新する方法だ。正しい検索先や文書を選ぶ行動を評価し、外部検索語については現在の語句と検索履歴への追加が漏えいを悪化させる度合いを罰則にする。漏えい判定には、検索語と秘匿情報の質問・正解を入力とする学習済み分類器を使う。
新規性
MosaicLeaksは、社内文書の答えを次の公開文書の検索に使う連鎖課題を設け、外部検索語からの情報漏えいを測る。検索語を一件ずつ見る場合に加え、履歴をまとめて見た場合の推測も対象にする。
対策のPrivacy-Aware Deep Research（PA-DR）は、課題の正答に向けた報酬と漏えいへの罰則を組み合わせる。現在の検索語と、それまでの検索語を合わせた漏えいへの寄与を、検索計画の学習に反映する。
従来手法との違い
比較の基準は、社内検索と公開文書検索を行う調査エージェントのQwen3-4B-Instructである。著者らは、外部検索語の漏えいを警告するプロンプトと、課題の達成だけを報酬にした学習も調べた。
警告プロンプトは漏えいを減らしたが、著者らの分析では、主な変化は検索語の書き方より外部検索の利用減少だった。達成だけを報酬にした学習は連鎖課題の成功率を上げる一方、漏えいも増やした。PA-DRは同じ調査課題で正答と秘匿の両方を学習目標にする。
実験結果
著者らのMosaicLeaksは、DRBenchの合成された社内文書とBrowseComp-Plusの固定された公開文書群を用いた1,001件の連鎖課題、計3,403小問からなる。小問ごとの正答率と、全小問に正答した連鎖課題の成功率を測る。漏えいは、外部検索語を見た攻撃者モデルが調査意図、秘匿情報の質問への答え、社内文書について検証可能な事実を推測できるかで評価する。
Qwen3-4B-Instructについて著者らは、連鎖課題の成功率が基準モデルの48.7％からPA-DRの58.7％へ、回答または完全情報の漏えいが34.0％から9.9％へ変わったと報告した。課題の達成だけを報酬にした学習では、それぞれ59.3％と51.7％だった。数値はこの課題と攻撃者モデルによる評価条件に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の製品計画と公開市場情報を照合する調査で、外部検索語の送信前に漏えいの可能性を点検する。入力は利用を許可した社内文書、調査質問、公開情報の検索対象とし、出力は各小問の回答と外部検索語の記録とする。
検証には対象業務の社内文書、公開情報、回答の正解ラベル、秘匿すべき事実の質問と正解が要る。追加センサーは想定しない。社内文書から公開検索へ進む課題に業務手順を合わせ、検索語の履歴だけで秘密を推測できるかを確認する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：公開情報との照合が必要な社内調査を少数選び、利用を認める社内文書と公開検索対象を定める。人が各小問の正解ラベル、秘匿すべき事実の質問と正解を用意し、社内から公開情報へ答えをつなぐ課題に整える。追加センサーは想定せず、外部検索語を記録する手順を設ける。
同じ課題を既存エージェントとPA-DRを適用した候補で解き、全小問の正答、外部検索の回数、検索語だけからの秘密推測の成否を比べる。PA-DRを学習させるなら、対象文書に対応する正答と秘匿情報のラベルを使って報酬を調整する必要がある。判断が割れた漏えい例は人が確認する。
限界と課題
著者らはPA-DRの学習対象を検索計画と候補文書の選択に絞った。文書の読解と回答の選択も学習させる試みでは不安定化が見られたと述べており、これらの段階を改善する結果は示していない。
編集上の検証事項は、実際の社内文書から秘匿情報の質問と正解をどう作り、誰がその妥当性を確かめるかである。評価では攻撃者が外部検索語だけを見るため、自社の送信先や記録の扱いとの違いも調べたい。報告された漏えい率を実運用での発生率とはみなせない。
出典
元のタイトル・要旨を確認する（英語）
MosaicLeaks:Privacy Risks in Querying-in-the-Open for Deep Research Agents
Deep research agents increasingly combine private local documents with external tools like web retrieval, creating a privacy risk: an agent's external queries may leak sensitive information from its local context. This risk is amplified by the mosaic effect, where individual queries may appear harmless but become revealing in aggregate. We introduce MosaicLeaks, a benchmark of 1,001 multi-hop deep research tasks that chain private enterprise documents and a public web corpus, forcing agents to make external queries that depend on local information. We evaluate leakage with an adversary LLM that observes only the agent's external queries and attempts to infer private information at three levels: the agent's research intent, answers to specific private questions and verifiable claims about the enterprise documents. We find that models across families and sizes frequently leak at all three levels, that zero-shot privacy prompting reduces but does not eliminate leakage and that reinforcement learning for task performance alone worsens leakage. To address this, we propose Privacy-Aware Deep Research (PA-DR), an RL framework that combines situational rewards for task success with a learned privacy classifier to provide dense credit assignment over both per-query and mosaic-level leakage. Training Qwen3-4B-Instruct with PA-DR improves accuracy from 48.7% to 58.7% and reduces answer and full-information leakage from 34.0% to 9.9%.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01