アーカイブ / LLM
会議録の機密は間接質問で漏れるか：開示方針を検証するCoPriva
CoPriva
CoPrivaの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An example of an LLM rejecting a direct query that violates a user-defined security policy, but failing to block an indirect query that leads to the same policy-forbidden information being leaked.
概要
- CoPrivaは会議録、開示方針、直接・間接質問を組み合わせ、機密の漏えいと必要情報の充足を測る。
- 著者らの評価では、GPT-4oの漏えい率は直接質問1.8％、間接質問56.7％だった。
- 構築には会議録に対応した質問・回答の組が必要で、研究は漏えい防止策を提案していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoPrivaの仕組み
- 01QMSumの会議録
- 02方針と質問を作成
- 03モデルが回答
- 04漏えいと充足を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CoPrivaは、会議録を読む大規模言語モデル（LLM）が、指定された機密を回答で伏せられるかを調べる。資料に答えが載っていても、質問者に開示してよいとは限らない。機密を守ることと、伝えてよい情報で質問に答えることを同時に評価する必要がある。
禁止された話題を名指しする質問には答えなくても、議論全体や意見の相違を尋ねられると、その話題に触れる場合がある。著者らはこの間接的な聞き方を重視した。
手法
CoPrivaは、会議録と、それに対応する質問・回答の組を持つQMSumを基に作る。著者らは会議で話された内容から、伏せる「機密対象」と、回答に含める「非機密対象」を抽出し、両者を入れ替えた方針も作成した。機密対象を名指しする直接質問は定型文で作り、議論を広く尋ねる間接質問にはQMSumの元の質問を使う。方針の不整合などを自動で除外し、一部を人手で確認した。
例えば両面型リモコンの会議では、操作性への懸念を機密対象、両面型の提案を非機密対象にできる。モデルへ会議録、方針、質問を渡し、得た回答を二つの観点で採点する。「漏えい」は機密対象を明かしたかという二値判定、「忠実度」は必要な非機密情報をどれだけ伝えたかという5点尺度の判定である。
新規性
CoPrivaは、会議録に対する質問応答で、その場で指定した非開示方針をモデルが守れるかを測る評価用データセットである。禁止内容を直接尋ねる質問に加え、議論の要約などから同じ内容を引き出し得る間接質問を含む。
方針には、伏せる対象と、回答に含めるべき対象の両方を置く。漏えいを防ぎながら質問に必要な内容を伝えられるかを、別々の指標で調べる点が特徴だ。
従来手法との違い
著者らの比較表では、文脈に応じたプライバシーを扱う既存のCONFAIDEは合成データ496件、CoPrivaはQMSumの会議録を基にした4,184件である。CoPrivaは質問時に指定する方針と、直接・間接の質問を組み合わせる。件数だけで実運用への適合性は判断できない。
CoPriva内の比較では、評価した10モデルすべてで間接質問の漏えい率が直接質問より高い。これは著者らの会議録、方針、質問という条件での結果であり、別の文書や運用条件への優劣を示すものではない。
実験結果
著者らは219件の会議録から作ったCoPrivaの4,184件で10モデルを評価した。統計表には方針2,763件、直接質問2,092件、間接質問2,092件とある。漏えい率は機密対象を含む回答の割合、忠実度は非機密対象を十分に伝えたかを示す5点尺度で、いずれもモデルによる判定を使い、一部を人手で検証した。
著者らの表では、GPT-4oの漏えい率は直接質問1.8％、間接質問56.7％、o4-miniはそれぞれ0.0％、31.3％だった。別の回答修正実験では、GPT-4o-miniが49.49％から44.18％、Gemini-2.0-flash-001が50.68％から41.44％になった。修正実験は、方針付きで最初から回答する条件と、方針なしの回答を後から方針に沿って直す条件の比較である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内会議録の質問応答を公開する前に、回答案を点検する。入力は閲覧権限を確認した会議録、利用者の質問、「未発表の仕様は伏せ、決定済みの日程は答える」といった方針とし、出力は回答案と点検記録にする。
元データには対象の会議録が必要で、点検用には伏せる話題と答える話題を担当者がラベル付けする。追加学習用データやセンサーは想定せず、自社の公開区分に合わせて方針文を作り、判断が割れる回答は人が確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：閲覧権限を確認した会議録を少数選び、元資料と質問を用意する。担当者が「伏せる話題」「答える話題」のラベルを付け、自社の公開区分に合う短い方針文へ直す。追加学習用データやセンサーは使わず、直接質問と要約型の間接質問を作る。
同じ会議録と質問を使い、現行の質問応答を基準として比較する。回答ごとに、機密が漏れた割合と必要事項を含む割合を人手で数え、質問の種類別に記録する。採点者の判断が割れた例は残し、ラベルと方針文を見直して再試験する。
限界と課題
著者らが明記する制約は、データ構築が会議録に対応した質問・回答の組に依存することだ。そうした組がない文書には構築手順の調整が要る。また本研究は弱点の評価と分析を目的とし、漏えいを防ぐ仕組みは提案していない。
編集上の検証事項は、自社文書で公開可能な話題と伏せる話題を一貫して指定できるか、採点結果が人の判断と合うかである。本文の統計表には方針2,763件と直接・間接質問各2,092件が併記されている。適用時には方針と質問の対応単位も確認したい。
出典
元のタイトル・要旨を確認する（英語）
Keep Security! Benchmarking Security Policy Preservation in Large Language Model Contexts Against Indirect Attacks in Question Answering
As Large Language Models (LLMs) are increasingly deployed in sensitive domains such as enterprise and government, ensuring that they adhere to user-defined security policies within context is critical-especially with respect to information non-disclosure. While prior LLM studies have focused on general safety and socially sensitive data, large-scale benchmarks for contextual security preservation against attacks remain lacking. To address this, we introduce a novel large-scale benchmark dataset, CoPriva, evaluating LLM adherence to contextual non-disclosure policies in question answering. Derived from realistic contexts, our dataset includes explicit policies and queries designed as direct and challenging indirect attacks seeking prohibited information. We evaluate 10 LLMs on our benchmark and reveal a significant vulnerability: many models violate user-defined policies and leak sensitive information. This failure is particularly severe against indirect attacks, highlighting a critical gap in current LLM safety alignment for sensitive applications. Our analysis reveals that while models can often identify the correct answer to a query, they struggle to incorporate policy constraints during generation. In contrast, they exhibit a partial ability to revise outputs when explicitly prompted. Our findings underscore the urgent need for more robust methods to guarantee contextual security.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01