アーカイブ / LLM
プライバシーポリシー内の「約束」と「実務」の食い違いを検出する
Privacy Washing
概要
- 同一ポリシー内の約束と実務を組にし、候補を絞った後、三つのモデルの多数決で食い違いを判定する。
- 主実験ではOPPTの15/123社、OPP-115の42/115社で少なくとも一組が確認された。ただし設定が異なり、差を年代差とは解釈できない。
- 専門家との照合がないため判定の適合率は不明。導入前に、人が付けた正解ラベルで誤判定と見落としを調べる必要がある。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Privacy Washingの仕組み
- 01ポリシー段落
- 02文の抽出
- 03候補選別
- 043モデル判定
- 05類型分析
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
プライバシーポリシーは、ある箇所で個人情報を「販売しない」と約束し、離れた箇所で広告事業者への情報提供を説明することがある。読み手が約束だけを見れば、情報の取扱いを実際の記述より狭く受け止める可能性がある。
本研究が調べるのは、同一文書内の約束と実務の記述が生む食い違いだ。両方の文がそれぞれ成り立っても、組み合わせると約束から受ける印象が損なわれる場合を対象にする。
手法
まず、カテゴリ注釈のあるポリシーの段落から、三つの大規模言語モデルで約束と実務を短い記述として抽出する。記述には主体、扱う事項、適用範囲、条件を付け、同じポリシー内で「約束→実務」の候補組を作る。例えば「情報を販売しない」という約束に、広告事業者への情報提供を記す箇所を組み合わせる。
次にカテゴリや付随情報の整合性を確かめ、文の意味の近さで候補を絞り、自然言語推論でも選別する。自然言語推論とは、文同士の意味上の関係を推定する処理で、ここでは最終判定には使わない。残った組を三つのモデルで判定し、多数決で確認された組を内容別に分析する。判定では、対象データや利用者、製品が違う組などを除外する。
新規性
著者は、同じポリシー内にある安心を与える約束と、別の箇所に記されたデータ取扱いの実務を、方向性のある組として判定対象にした。この文章上の構造を「プライバシーウォッシング」として定義し、検出手順を示した点を新規性としている。
対象には、二つの文が厳密には両立しても、実務の記述が約束から受ける印象を損なう場合が含まれる。検出結果は企業の意図的な欺瞞を示すものではない。
従来手法との違い
先行するPolicyLintやPoliGraphは、データ収集に関する記述を構造化し、「収集する」と「収集しない」のような論理的な食い違いを扱う。本研究は、広い約束と、離れた箇所にある具体的な実務の記述との関係を調べる。
そのため、約束と実務を区別して組にし、データ種別や利用者などの適用範囲も確認する。確認できた本文の範囲では、先行手法と同じ条件で検出性能を比較した結果は示されていない。
実験結果
著者は2026年収集のOPPT(123社)と2015年収集のOPP-115(115社)に適用した。主実験で少なくとも一組の多数決で確認された食い違いがあった企業は、OPPTで15/123社(12.2%)、OPP-115で42/115社(36.5%)だった。OPPTでは、以前の候補生成から引き継いだ組を除くと12/123社(9.8%)となる。
両主実験では第三者共有に関する組が確認例の過半数を占めた。著者による七か月後の再実行では、元の手順に合わせたOPPTの出現率は13.0%だった。判定へ送る際の類似度による制限を外すと、出現率はOPPTで20.3%、OPP-115で40.9%となり、第三者共有が過半数という結果は判定モデル群に左右された。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:企業が改訂前のプライバシーポリシーを点検する。入力は全文と段落ごとのカテゴリ注釈とし、出力は約束と実務の候補組、該当箇所、判定理由の一覧にする。担当者が両方の原文を読み、表現や適用範囲を修正するか判断する。
既存のカテゴリが自社の条項に合わなければ注釈と対象範囲の付け方を調整する。文書以外のセンサー入力は想定しない。追加学習を行う場合の学習文書と正解ラベルは別途必要で、この点検案の効果を確かめるにも、人が判定した候補組のラベルを用意する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:自社のポリシー全文と段落カテゴリの注釈を用意し、一文書で候補抽出から多数決判定まで試す。自社の製品、利用者、データ種別に合わせてカテゴリと適用範囲の付け方を調整する。センサーは使わず、追加学習をする場合に必要な学習文書と正解ラベルは別途用意する。
比較対象は担当者による通常の通読とする。専門家が候補組に付けた正解ラベルを使い、提示された組のうち妥当なものの割合と見落とした組の数を測る。レビュー時間も記録し、原文と判定理由を並べた表示が確認作業に役立つかを調べる。
限界と課題
著者は、三つのモデルの判定を人間の専門家による判断と照合しておらず、適合率は不明だと明記する。強い絞り込みを使うため報告した出現率は下限値であり、二つの主実験はフィルター設定も異なる。したがって、その数値の差を年代による変化とは解釈できない。
編集上の検証事項:自社の条項で誤判定や見落としがどの程度あるか、異なる製品・利用者・データ種別を正しく区別できるかを確かめる。文章上の食い違いが実際のデータ取扱いや読者の理解にどう結び付くかも、検出結果だけでは判断できない。
出典
元のタイトル・要旨を確認する(英語)
Privacy Washing: Detecting Internal Contradictions in Privacy Policies
Privacy policies may contain internal contradictions in which commitments are undermined by practices documented elsewhere in the same policy. We operationalize this phenomenon, privacy washing, through a four-stage pipeline: statement extraction, compatibility filtering and natural language inference screening, multi-model judge verification, and thematic analysis, with contradictions confirmed by majority vote of a three-model LLM panel. Applied to two corpora of website privacy policies, 123 collected in 2026 (OPPT) and 115 collected in 2015 (OPP-115), the pipeline finds the same category patterns recurring across the 11-year gap, with third-party sharing contradictions the majority of confirmed cases in each primary run, consistent with structural factors in policy composition rather than necessarily intentional deception. At least one panel-confirmed contradiction appears in 12.2% of OPPT companies (15/123; 9.8% excluding legacy pairs) and 36.5% of OPP-115 companies (42/115). A stability re-run seven months later, with a fully separated configuration (new extraction models, judges from three Chinese providers absent from both corpora, matched filters, no judge-submission similarity threshold), reproduces the OPPT prevalence under the original protocol (13.0% vs. 12.2%), finds sub-threshold pairs confirm at rates of the same order as those above (raising prevalence to 20.3% and 40.9%), and shows the third-party majority is panel-sensitive while the recurrence of the same category pairs is not. Two caveats govern all figures: panel verdicts are not validated against human expert judgment, so precision is unknown and prevalence figures are lower bounds; and the two primary runs used different filter configurations, so their prevalence difference is not interpretable as a corpus or era effect (the matched re-run reduces the gap to roughly twofold but does not eliminate it).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




