アーカイブ / LLM
公開データを手掛かりに、非公開の例を使った回答を保護して選ぶ手法
Public Data Assisted Differentially Private In-Context Learning
Public Data Assisted Differentially Private In-Context Learningの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An illustration of a membership inference attack , where a malicious attacker infers whether a target example is included in the prompt composed of private examples retrieved from the database. By leveraging the tuned prompt, the attacker can determine the presence of the target example within the in-context examples.
概要
- 意味の近い回答を保護付きで集約し、公開例から生成した複数候補を使って最終回答を選ぶ。
- 同じ分野の公開例を使ったChatDoctorの質問応答では、ε=1のBLEUが提案法22.21、KSA15.98だった。
- 著者らは公開データの品質と、照会を重ねた際のプライバシー損失の管理を課題としている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Public Data Assisted Differentially Private In-Context Learningの仕組み
- 01質問と公開・非公開例
- 02複数の回答を生成
- 03意味で保護付き集約
- 04公開候補から最終選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、非公開の例を参照する大規模言語モデルの回答から、元の例の情報が漏れる危険を抑える。文脈内学習とは、モデルを再学習せず、質問と一緒に質問・回答の例を渡して回答を導く方法だ。
患者の治療記録などを例に使うと、攻撃者が特定の記録の使用を推測する恐れがある。差分プライバシーは、一件のデータの有無が出力に与える影響を制限する仕組みだが、保護を強めると回答品質が下がり得る。
手法
質問に対し、公開・非公開の質問と回答の組を抽出して分け、それぞれを例として添えた指示文から複数の回答を生成する。回答を「埋め込み」という意味を表す数値に変え、意味が近いものを群にする。例えば医療の質問応答では、患者記録を含む非公開例と公開例を使って回答案を得る。
群の中心と件数は差分プライバシーを使って推定する。各中心に最も近い公開例由来の回答を代表に選び、件数上位の複数候補と公開例をモデルに渡して最終回答を選ばせる。最終選択には非公開の元データを再投入しない。
新規性
著者らは、非公開例から生成した文章を意味の近さで集約し、各群の代表を公開例から生成した回答に限定する手法を提案した。群の中心と件数を保護したうえで、件数上位の複数候補から最終回答を選ぶ。
文章そのものの集計が難しい長文回答を、意味を表す数値に変換して扱う点も特徴である。著者らは、後段が公開データと保護済みの結果だけを使うため、差分プライバシーの保証が引き継がれると説明する。
従来手法との違い
比較対象は、回答をキーワードに変換して集約するKSA、意味で集約した最多の群から一つを選ぶSGA top-1、公開データを使わないKSAである。提案法のSGA top-kは、意味による集約後に複数候補を残し、公開例を添えて選択する。
同じ分野の公開データを使う実験では、質問応答のε=1で提案法のBLEUがKSAを上回った。一方、要約では指標によって優劣が異なるため、質問応答の結果を要約へ広げて解釈できない。
実験結果
著者らはChatDoctorの質問応答とSAMSumの対話要約を、各100件のテスト質問で評価した。基本設定は一度に4例を示す指示文と100組の回答生成で、非公開例100件、公開例100件を使う。差分プライバシーの強さを表すεは1、3、8を試した。
同じ分野の公開例を使う条件で、ε=1の質問応答のBLEUはSGA top-kが22.21、KSAが15.98。要約ではROUGE-1が同順に36.58、35.06だが、ROUGE-2は13.34、14.52だった。著者らは別設定の所属推定攻撃で、保護した手法のAUROCが各εで約0.6以下と報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内問い合わせへの回答案作成に使う。入力は新しい質問、非公開の過去の質問・正解回答の組、公開利用できるFAQの質問・回答の組とし、担当者に確認してもらう回答案を出力する。
過去の組から複数の案を作って意味でまとめ、FAQから作った候補を使って最終案を選ぶ。必要なラベルは既存の正解回答で、追加センサーは想定しない。導入前に質問形式をそろえ、FAQの公開可否と業務との関連を確認する。効果はこの用途での検証を要する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解回答付きの非公開問い合わせと、公開利用できるFAQの質問・回答の組を用意する。正解回答を評価用ラベルとし、追加センサーは使わない。両データの質問形式をそろえ、公開例が対象業務に合うか確認する。
保留した質問に対し、提案法と公開データを使わないKSAを同じ条件で試す。正解との一致、担当者による妥当性判定、処理時間、所属推定攻撃の成績を記録する。照会回数に応じたプライバシー損失も追跡し、誤回答の傾向を点検する。
限界と課題
著者らは、質の高い公開データが得られない分野では適用が難しいと述べる。また、質問ごとに保護済みの結果を出すため、照会を重ねた際のプライバシー損失を追跡する必要がある。公開データの質を変えた実験でも成績に差が出た。
編集上の検証事項は、業務に近い公開例を確保できるか、誤った候補を最終回答に選ばないか、照会回数を通じて設定した保証を守れるかである。確認できた本文の範囲では、付録にあるプライバシー計算の詳細設定までは確認できない。
出典
元のタイトル・要旨を確認する（英語）
Public Data Assisted Differentially Private In-Context Learning
In-context learning (ICL) in Large Language Models (LLMs) has shown remarkable performance across various tasks without requiring fine-tuning. However, recent studies have highlighted the risk of private data leakage through the prompt in ICL, especially when LLMs are exposed to malicious attacks. While differential privacy (DP) provides strong privacy guarantees, it often significantly reduces the utility of in-context learning (ICL). To address this challenge, we incorporate task-related public data into the ICL framework while maintaining the DP guarantee. Based on this approach, we propose a private in-context learning algorithm that effectively balances privacy protection and model utility. Through experiments, we demonstrate that our approach significantly improves the utility of private ICL with the assistance of public data. Additionally, we show that our method is robust against membership inference attacks, demonstrating empirical privacy protection.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01