アーカイブ / LLM
全員に答えても語り方は同じか：職業相談AIの属性別監査
Counterfactual Interaction Fairness Audit
Counterfactual Interaction Fairness Auditの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Distribution of sentiment scores for career advice responses across identity groups (n=30 prompts per group). Solid boxes represent GPT-4, dashed boxes represent LLaMA. While all identities receive positive responses (sentiment > 0.5 >0.5 ), GPT-4 shows greater within-group variability compared to LLaMA’s tighter distributions.
概要
- 30件の職業相談文について属性記述を８通りに変え、２モデルの回答を比較した。
- 両モデルの拒否率は全属性群で０％だったが、著者らは語調の属性別の差を報告した。
- 分析は多重比較の補正をしていない探索的な結果であり、著者らは追試が必要としている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Counterfactual Interaction Fairness Auditの仕組み
- 01職業相談文
- 02属性記述を付加
- 03２モデルで回答
- 04拒否と語調を測定
- 05同じ相談で比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、大規模言語モデルが同じ職業相談に答える際、相談者の属性を示す記述によって語り方が変わるかを調べる。公平性の監査では、回答を拒む割合が一つの指標になる。
ただし、全員に回答しても、励まし方や慎重な言い回しには差があり得る。進路に関わる助言では、回答の有無に加え、利用者に届く文章そのものを確かめる意味がある。
手法
著者らは職業相談文30件を用意し、それぞれの直前に年齢、性別、米国生まれか移民かを示す短文を置いた。組合せは８通りで、相談内容と回答形式の指定は固定した。例えば同じ昇進相談に異なる属性記述を付け、GPT-4とLLaMA-3.1-70Bに行動案、言い方の例、避けるべき誤り、短い計画を含む回答を求める。
出力は全面的な拒否、部分的な拒否、拒否なしに分類する。続いて感情の向きを表すスコア、丁寧な語、ヘッジ表現と呼ぶ「かもしれない」のような断定を避ける語、否定的な語、語数を測る。語の出現率は100語当たりで示し、同じ相談への回答を組にして、対応する値の差を調べるウィルコクソンの符号付順位検定を使う。
新規性
著者らの提案は、回答を拒むかどうかを調べた後、回答文の語り方も同じ相談文を使って属性別に比較する監査である。相談内容と出力形式を固定し、属性を示す短い記述だけを変える。
同じ相談から得た回答を対応付け、感情表現、丁寧さ、断定を避ける表現を測る。拒否率が同じ場合にも残り得る応答上の差を調べる点が、論文の主張である。
従来手法との違い
拒否率だけを基準にすると、この実験では両モデルが全属性群に回答した、という結果までしか分からない。著者らは拒否の判定に加え、回答後の語調を自動指標で測った。
属性群ごとの平均値も示すが、統計的な比較では同じ相談文への回答同士を対応付ける。相談内容の違いを抑える設計であり、実際の利用者が受け取る印象や助言の適切さまで直接測るものではない。
実験結果
著者らは30件の職業相談文を８属性群に展開し、GPT-4のgpt-4-0125-previewとLLaMA-3.1-70B-Instructで各入力から１件ずつ回答を得た。約120～150語の共通形式を指定し、全属性群で両モデルの全面的・部分的な拒否率は０％だった。
30文の属性群別平均では、GPT-4のヘッジ表現は若年男性の２群で100語当たり0.73件と0.77件だった。LLaMAの感情スコアは年長女性・移民群で0.55、若年男性の２群で0.79と0.75だった。若年男性に対するGPT-4のヘッジ増加は著者らが有意と報告するが、確認できた本文の範囲では対応する検定結果表を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の職業相談チャットを公開する前に、昇進面談について承認済みの相談例を用意する。年齢、性別、米国生まれか移民かを示す記述だけを変えて入力し、回答文と語調の測定値を相談例ごとに並べる。
元データは利用場面に沿った相談文で、各入力には属性の組合せを示すラベルが要る。追加学習用データや外部センサーは使わない想定とし、日本語で測るなら表現を拾う語彙を調整する。差が出た回答は担当者が内容と伝わり方を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象窓口の相談例を匿名化して集め、相談内容を固定した属性違いの入力を作る。必要な元データは相談文、必要なラベルは属性の組合せである。追加学習用データや外部センサーは使わず、まず現行の拒否率確認を比較基準にする。
次に各回答の拒否、語数、慎重な表現、丁寧さ、助言内容を記録する。日本語に合わせて測定語彙を調整し、同じ相談内の属性差を人手の判定とも照合する。再生成して差の向きが保たれるかも確かめ、指標だけで運用判断をしない。
限界と課題
著者らは有意確率を多重比較で補正せず、結果を仮説を生む探索的なものとして追試が必要だとしている。対象は職業相談の30文で、各入力につきモデルごとの回答は１件、乱数の種も固定していない。
編集上の検証事項は、語彙による測定値が人の感じる丁寧さや助言の質と一致するか、日本語でも指標が働くかである。確認できた本文の範囲では、後続の図や検定結果表を照合できないため、差の有意確率や信頼区間の値は示せない。
出典
元のタイトル・要旨を確認する（英語）
Equal Access, Unequal Interaction: A Counterfactual Audit of LLM Fairness
Prior work on fairness in large language models (LLMs) has primarily focused on access-level behaviors such as refusals and safety filtering. However, equitable access does not ensure equitable interaction quality once a response is provided. In this paper, we conduct a controlled fairness audit examining how LLMs differ in tone, uncertainty, and linguistic framing across demographic identities after access is granted. Using a counterfactual prompt design, we evaluate GPT-4 and LLaMA-3.1-70B on career advice tasks while varying identity attributes along age, gender, and nationality. We assess access fairness through refusal analysis and measure interaction quality using automated linguistic metrics, including sentiment, politeness, and hedging. Identity-conditioned differences are evaluated using paired statistical tests. Both models exhibit zero refusal rates across all identities, indicating uniform access. Nevertheless, we observe systematic, model-specific disparities in interaction quality: GPT-4 expresses significantly higher hedging toward younger male users, while LLaMA exhibits broader sentiment variation across identity groups. These results show that fairness disparities can persist at the interaction level even when access is equal, motivating evaluation beyond refusal-based audits.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01