アーカイブ / LLM
会話の話題から利用者の属性を推測するLLMを、内部表現と回答で調べる
Reading Between the Prompts
概要
- 著者らは、属性の明示と典型的な話題を分けた６往復の模擬会話で、LLMの内部表現と回答を調べた。
- ３モデル、４属性、計13集団の評価で、典型的な話題が内部の属性判定に影響する一方、直接質問の回答には現れにくい例を報告した。
- 学習済み線形プローブによる内部表現の調整を試した。確認できた本文の範囲では、緩和策の結果の詳細は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Reading Between the Promptsの仕組み
- 01自己紹介と６往復
- 02各時点の状態取得
- 03プローブと質問で評価
- 04属性判定と回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMは会話中の食べ物や趣味などから、利用者が明かしていない年齢、性別、人種、社会経済的地位を推測し得る。著者らは、こうした手掛かりに基づく「暗黙の個人化」が回答の内容や質に関わる問題を扱う。
本人が属性を明示しても、後の話題が別の集団を連想させる場合がある。研究の焦点は、モデルが明示情報を保つか、典型的な話題によって内部の利用者像や回答が変わるかにある。
手法
著者らは、属性を明かす場合と明かさない場合の自己紹介に続け、食べ物、飲み物、趣味、性格特性について６往復する定型会話を作った。各往復には、特定の集団を連想させる項目か、用意できた話題では中立的な項目を入れる。例えば男性と名乗った利用者が、女性と結び付けられやすい趣味を話す条件を設ける。
自己紹介時と１、３、６往復後に、内部の数値表現から属性を分類する「線形プローブ」、属性語の出にくさを示す「サプライザル」、属性を直接・間接に問う質問への回答を調べる。緩和策では、学習済みプローブの対象属性に対応する重みを、回答生成前の一部の層の内部表現に加える。
新規性
著者らは、利用者が属性を明示するかどうかと、会話に典型的な話題が含まれるかどうかを分けて操作した。同じ６往復の会話で、明示情報の保持と、話題から生じる属性の推測を調べられる。
緩和策では、属性を明示した自己紹介文と属性情報のない自己紹介文で学習した線形プローブを使う。典型的な話題を含む生成会話でプローブを学習した先行手法とは、学習時に使う属性情報の与え方が異なる。
従来手法との違い
先行研究の多くは、利用者からの単発の依頼への応答を調べていた。著者らは自己紹介後に６往復の会話を続け、話題が途中で内部の利用者像に与える影響を測った。
近い先行手法も線形プローブで属性を読み取り、内部表現を調整する。ただし著者らによると、その学習用会話には属性を連想させる話題が混ざる。本研究は属性の明示と話題の有無を制御し、両者の影響を切り分けた。
実験結果
著者らはGemma 2 9B IT、Llama 3.1 8B Instruct、OLMo 2 7B Instructで、４属性に属する計13集団を対象に１万4000件の模擬会話を構成した。属性の明示と典型的な話題の組み合わせを比べ、プローブの判定、サプライザル、直接・間接質問への回答を測った。
著者らの報告では、属性を明かさない会話でGemmaのプローブがアジア系と判定した割合は、典型的な話題がある条件で98.8％、ない条件で7.4％だった。一方、直接質問への回答で典型的な話題に対応する集団への言及は、どのモデル・集団でも２％を超えなかった。内部の判定と回答は分けて読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の相談チャットで、趣味の話を含む相談への回答が、本人の示した属性と食い違う前提を置かないか点検する。入力は利用許可を得た相談文と自己紹介、出力は提案文と、属性への言及箇所を記した確認記録とする。
元データには実際に扱う相談文の型が必要で、評価用に明示属性の有無、話題の種類、回答中の属性への言及をラベル付けする。センサーは使わない。属性が示されていない相談では、推測に基づく記述が出ないかを確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用許可のある相談文を元データとし、属性の明示あり・なしと、属性を連想させる話題のあり・なしを組み合わせた少数の評価会話を作る。明示属性、話題、回答中の属性への言及をラベルにする。センサーは不要である。
まず現行モデルの回答を基準として保存し、同じ入力で条件ごとの言及率と相談への回答の妥当性を確認する。内部表現を扱えるモデルで調整を試す場合は、属性を明示した自己紹介文と属性情報のない自己紹介文を用意してプローブを学習し、調整前後を同じ基準で比べる。
限界と課題
著者らが明記したデータ構成上の制約として、非二元的な性別には対象の話題に対応する典型的な連想例を見つけられず、性格特性には中立例を設けていない。そのため、全ての集団と話題を同じ条件では比較できない。
編集上の検証事項は、定型文で見られた傾向が実際の相談でも現れるか、内部表現の調整が相談への回答にどう影響するかである。確認できた本文の範囲では、緩和策の結果の詳細と設定値までは確認できない。
出典
元のタイトル・要旨を確認する（英語）
Reading Between the Prompts: How Stereotypes Shape LLM's Implicit Personalization
Generative Large Language Models (LLMs) infer user's demographic information from subtle cues in the conversation -- a phenomenon called implicit personalization. Prior work has shown that such inferences can lead to lower quality responses for users assumed to be from minority groups, even when no demographic information is explicitly provided. In this work, we systematically explore how LLMs respond to stereotypical cues using controlled synthetic conversations, by analyzing the models' latent user representations through both model internals and generated answers to targeted user questions. Our findings reveal that LLMs do infer demographic attributes based on these stereotypical signals, which for a number of groups even persists when the user explicitly identifies with a different demographic group. Finally, we show that this form of stereotype-driven implicit personalization can be effectively mitigated by intervening on the model's internal representations using a trained linear probe to steer them toward the explicitly stated identity. Our results highlight the need for greater transparency and control in how LLMs represent user identity.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01