アーカイブ / LLM
回答評価AIは何に左右されるか：12種類の偏りを調べるCalm
Calm
Calmの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The comparison of the robustness rates (scores) of all models, a higher score indicates greater resistance to the bias. Table 1 shows the full name of 12 types of bias.
概要
- Calmは、言語モデルによる回答評価の偏りを12種類に整理し、回答や評価指示の改変前後で判定を比較する。
- 著者らの表4では、感情表現を変えた事実関連データ500件の頑健率はChatGPTが0.804、GPT-4-Turboが0.653だった。
- 実務への適用時は、改変による判定の変化に加え、同じ入力での判定の揺れと、改変後も回答の質が保たれるかを確認する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Calmの仕組み
- 01質問と候補回答
- 02偏り別に改変
- 03評価役が再判定
- 04判定差を集計
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Calmは、言語モデルを回答の評価役にしたとき、回答の内容以外の要素が判定に影響するかを調べる。「LLM-as-a-Judge」は、言語モデルが二つの回答の優劣を選ぶ、または一つの回答に点数を付ける方法を指す。
その判定は評価指標やモデル学習の報酬にも使われる。提示順や回答の長さで結果が動くなら、候補の質を正しく比べられないおそれがあるため、用途ごとに影響を確かめる必要がある。
手法
Calmは評価指示、質問、候補回答を入力し、調べたい偏りに応じて回答または指示を別の言語モデルで改変する。例えば、二つの回答のうち質が低い方を長くしたり、架空の引用を加えたりする。同じ評価役に改変前後を判定させ、選択や点数がどう変わるかを見る。
改変には種類ごとの指示を与え、回答の正しさと意味をできるだけ保つ。頑健率は改変前後で判定が一致した割合、一致率は改変せず同じ入力を繰り返した際に判定が一致した割合である。偏りの種類によっては、正解との一致を示す正答率や、点数の差を表す誤差率を用いる。
新規性
著者らが主張する新しさは、回答を評価する言語モデルに生じうる偏りを12種類に整理し、それぞれに応じた改変を自動で作って判定への影響を測る枠組みにある。回答の長さや提示順、架空の引用などを別々に扱う。
判定が変わった割合だけでなく、改変しない入力を繰り返し判定したときの安定性も測る。これにより、特定の改変への反応を、元からある判定の揺れと併せて読める。
従来手法との違い
先行研究には、回答の提示順、多数派の意見、架空の引用による影響を個別に調べたものがある。著者らは、扱う偏りの範囲が限られ、人手で回答の質を判定する方法には費用と主観性の問題があると整理する。
Calmは12種類の偏りに応じて回答または評価指示を改変し、前後の判定を比較する。多くの種類では二つの回答から選ぶ課題を使い、自己の回答への評価と「改善後」と知らされた回答への評価には点数付けを使う。
実験結果
著者らはChatGPT、GPT-4-Turbo、GPT-4o、Claude-3.5、GLM-4、Qwen2-72B-Instructの6モデルを評価した。事実関連データ500件、選別後の選好データ439件などを用い、偏りごとに対象件数と指標を変えている。評価役と回答生成モデルの温度設定は0.7だった。
著者らの表4では、事実関連データ500件で回答の感情表現を変えた際の頑健率はChatGPTが0.804、GPT-4-Turboが0.653だった。選好データ439件で回答の提示順を変えた際は、Claude-3.5が0.832、ChatGPTが0.566だった。頑健率は各条件で改変前後の判定が一致した割合を示す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内FAQの回答候補をAIで選ぶ前に、判定の揺れを点検する。実際の質問と二つの候補回答を入力し、提示順を交換した場合の選択結果を記録する。選択が変わる質問を担当者が読み、公開前の確認対象に回す。
元データには社内FAQの質問と候補回答、検証用には担当者が付けた回答の優劣ラベルが要る。追加学習用データとセンサーは使わない想定とし、業務で使う評価指示に合わせて改変条件を調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内FAQから質問と二つの候補回答を少量集め、担当者が優劣のラベルを付ける。元データはこの質問、回答、ラベルとし、追加学習用データやセンサーは使わない。まず提示順の交換を試し、業務で使う評価指示に合わせて入力形式を整える。
基準として、改変しない同一入力を再判定した一致率を測る。次に提示順を変えた前後の判定一致率と、担当者ラベルに合う割合を記録する。選択が変わった例は担当者が読み、回答内容に変更がないことを確認して運用上の対応を決める。
限界と課題
著者らは、改変によって回答の正しさを変えず、元の意味をできるだけ保つ必要があると明記する。長さや表現を変える際に回答の質まで変われば、判定の変化を狙った偏りだけに帰することは難しい。
編集上の検証事項は、改変が狙った要素だけを変えたか、同じ入力での再判定にどれほど揺れがあるか、対象業務でも同様の傾向が出るかである。論文中の数値は記載されたデータと設定での結果であり、社内FAQでの効果を示すものではない。
出典
元のタイトル・要旨を確認する（英語）
Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge
LLM-as-a-Judge has been widely utilized as an evaluation method in various benchmarks and served as supervised rewards in model training. However, despite their excellence in many domains, potential issues are under-explored, undermining their reliability and the scope of their utility. Therefore, we identify 12 key potential biases and propose a new automated bias quantification framework-CALM-which systematically quantifies and analyzes each type of bias in LLM-as-a-Judge by using automated and principle-guided modification. Our experiments cover multiple popular language models, and the results indicate that while advanced models have achieved commendable overall performance, significant biases persist in certain specific tasks. Empirical results suggest that there remains room for improvement in the reliability of LLM-as-a-Judge. Moreover, we also discuss the explicit and implicit influence of these biases and give some suggestions for the reliable application of LLM-as-a-Judge. Our work highlights the need for stakeholders to address these issues and remind users to exercise caution in LLM-as-a-Judge applications.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01