アーカイブ / LLM
説明文の偏りは回答に表れるか――BRAINで三択の判断過程を調べる
BRAIN
BRAINの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : BRAIN framework for evaluating agreement between model’s thought and prediction. BRAIN computes the JS divergence between the predictions for two cases: once when feeding the context and question, and another when feeding the question and thought.
概要
- BRAINは、質問・文脈と質問・説明文から得る三択の確率分布の差と回答との整合性を使い、説明文の偏りを判定する。
- 著者らのBBQでの実験では、説明文の偏り判別の平均F1スコアはBRAINが0.81、別モデルによる採点が0.84だった。
- 対象モデルでは説明文と回答の偏りの相関は各条件で0.6未満で、段階的な説明が回答に与える影響もモデルによって異なった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、BRAINの仕組み
- 01質問・文脈・説明文
- 02文脈側の三択確率
- 03説明文側の三択確率
- 04分布差と回答を照合
- 05説明文の偏り判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
BRAINは、言語モデルが回答前に生成する説明文に社会的な偏りがあるかを調べる。人物に関する三択問題では、回答だけを見ると、モデルが文脈の事実を使ったのか、属性に関する固定観念を使ったのか分かりにくい。
回答までの説明を段階的に生成させる指示は「思考の連鎖」と呼ばれる。この研究は説明文と最終回答を別々に評価し、両者の偏りがどの程度結び付くかと、説明を求める指示が回答に与える影響を検討した。
手法
BRAINは三択の質問に対し、まず「質問と文脈」、次に「質問とモデルが生成した説明文」を入力して、モデルが各候補に割り当てる確率を得る。三つの確率の並びを確率分布と呼び、その違いをジェンセン・シャノン・ダイバージェンスという尺度で測る。検証用データから決めたしきい値を超えれば、説明文は回答と一致しないと判定する。
例えば、誰が事件を起こしたか判断できない文脈なのに、説明文が特定の属性の人物を犯人と決めつける場合を考える。著者らの判定規則では、偏った回答と一致する説明文、または偏りのない回答と一致しない説明文を偏りありとする。この判定には回答側の偏りの区分も必要であり、分布差だけで社会的な偏りを特定する仕組みではない。
新規性
BRAINは、文脈に基づく選択確率と、生成された説明文に基づく選択確率の差を、説明文と回答の整合性を調べる手掛かりにする。説明文に偏りがあるかを、最終回答だけから推定せずに判定するための方法として提案された。
著者らは既存の考え方を転用した五つの方法も同じ課題で比較した。さらに、説明文の偏りと回答の偏りの関係、段階的に説明させる指示や説明文の挿入が回答に与える影響を、対象モデルで調べた。
従来手法との違い
比較した五つの方法には、別の言語モデルによる採点、偏った選択肢に対する分類器の確信度、文の意味の近さ、文脈との整合性、文章間の推論関係を使う方法がある。BRAINが使う信号は、入力を変えた際の三択の確率分布の差である。
著者らが報告したBBQでの平均F1スコアは、BRAINが0.81、別モデルによる採点が0.84、意味の近さを使う方法が0.47、確信度を使う方法が0.48だった。F1スコアは判定の適合率と再現率を合わせた指標で、この数値は説明文の偏りの判別を比較した結果である。
実験結果
著者らは社会的属性を扱う三択問題集BBQを用い、判断材料が足りない文脈と、判断材料を明示した文脈で、五つの言語モデルの回答と説明文を調べた。説明文の偏りの参照ラベルは別のLlamaモデルで付け、六つの判定方法をF1スコアで比較した。
著者らの報告では、BRAINの平均F1スコアは0.81、別モデルによる採点は0.84だった。説明文と回答の偏りの相関は、示された各条件で0.6未満だった。段階的な説明の効果はモデルによって異なり、偏りのない説明文を入力に加える実験では回答の偏りが減る傾向を報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の支援制度に関する三択の問い合わせで、AIの回答に添えられた説明文を点検する。入力は制度の原文、質問、三つの候補、生成された説明文と回答とし、出力は担当者が確認するための偏り判定と、その根拠になる確率分布の差とする。
元になる制度文を用意し、担当者が正答と説明文の偏りを付けた検証用データで判定のしきい値を調整する。追加学習はこの案の手順に含めず、入力は文章のみなのでセンサーも要しない。制度固有の表現に合うかは担当者が確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：制度の原文から、人物属性が判断に紛れ込み得る三択の問い合わせを少数作る。担当者が各問の正答と、生成された説明文・回答それぞれの偏りラベルを付ける。元データは制度文と問い合わせ文で、追加学習用データやセンサーはこの案では用意しない。
回答だけを担当者が確認する運用を基準に、BRAINの判定を加えた場合の偏った説明文の発見件数と、誤って偏りありとする件数を測る。ラベル付きの一部で日本語の表現に対するしきい値を調整し、残りで判定結果と回答の正確さを別々に確認する。
限界と課題
著者らは、外部モデルによる採点にそのモデル自身の偏りが入り得ること、文脈との整合性や確信度だけでは社会的な偏りを十分に捉えられないことを挙げる。対象は英語とBBQが扱う属性・固定観念の範囲で、属性が交差する事例や二元的な区分に収まらない属性が十分に含まれない可能性も認めている。
編集上の検証事項は、説明文の参照ラベルを付けた別の言語モデルと人の判定がどの程度一致するかである。また、回答とBBQの正答の不一致を偏りとして扱う分析には、偏りに由来する回答と一般的な誤答を区別できるかという確認が必要になる。
出典
元のタイトル・要旨を確認する（英語）
Do Biased Models Have Biased Thoughts?
The impressive performance of language models is undeniable. However, the presence of biases based on gender, race, socio-economic status, physical appearance, and sexual orientation makes the deployment of language models challenging. This paper studies the effect of chain-of-thought prompting, a recent approach that studies the steps followed by the model before it responds, on fairness. More specifically, we ask the following question: $\textit{Do biased models have biased thoughts}$? To answer our question, we conduct experiments on $5$ popular large language models using fairness metrics to quantify $11$ different biases in the model's thoughts and output. Our results show that the bias in the thinking steps is not highly correlated with the output bias (less than $0.6$ correlation with a $p$-value smaller than $0.001$ in most cases). In other words, unlike human beings, the tested models with biased decisions do not always possess biased thoughts.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01