アーカイブ / LLM
LLM判定役の個別の理由を検証し、全体の判断規則にまとめるCLoVEとGloVE
CLoVE / GloVE
概要
- CLoVEは、判定を支持する概念と反対側の概念を、文章中の重要な語に照らして個別に説明する。
- GloVEは個別説明の概念を検証しながら統合し、LLM判定役の全体的な判断規則を作る。
- 7データセットでの一致率は判定役と条件によって異なる。実務では人が付けたラベルとの照合も必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CLoVE / GloVEの仕組み
- 01文章と判定結果
- 02重要語と概念の照合
- 03類似概念の統合
- 04全体の判断規則
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CLoVEとGloVEは、文章を評価する大規模言語モデルの判定を、個別の理由と全体の判断規則から読み解く方法だ。このような評価用モデルを「LLM判定役」と呼ぶ。
有害性のような基準には解釈の幅があり、判定役の判断には偏りや文脈の見落としが入り得る。文章ごとの説明だけでは一貫した傾向をつかみにくいため、運用時に規則として点検できる形が求められる。
手法
CLoVEは文章とLLM判定役の結果を受け取り、別のLLMで判定を支持する概念と反対側の概念を提案する。LIMEという語の重要度を調べる手法で判定に影響した語を選び、提案した概念がその語に支えられるか検証する。例えば調理中の魚の「頭を切る」を有害と判定した例では、「切る」が有害側、「魚」「調理」が無害側の手掛かりとなる。
GloVEは個別説明の概念を、支持側と反対側のつながりが分かる形で集める。意味の近い概念に共通の名前を提案し、元の概念からその名前を導けるかFactReasonerで確認して統合する。この処理を繰り返し、両側の条件を含む全体の判断規則を取り出す。
新規性
CLoVEは、判定を支持する概念と、別の判定を支持する概念を一つの説明に併記する。提案した概念を文章中の重要な語と照合し、根拠のない候補を除く点が特徴だ。
GloVEは、概念をまとめる際に元の概念との関係を検証する。著者らは、統合後も支持側と反対側の構造が保たれることなどについて、理論上の性質を示している。
従来手法との違い
比較対象のGELPEは、文章ごとに重要な語を特定し、その語を使って決定木による全体の規則を学ぶ。GloVEは、確認済みの概念による個別説明を作り、似た概念を統合して規則にする。
差は判定役とデータセットによって変わる。Granite Guardianを用いたBeaverTailsの一致率は両手法とも0.71だった。LlamaGuardを用いたOpenAIModではGloVEが0.57、GELPEが0.68だった。
実験結果
著者らはGranite Guardian 3.2:5bとLlamaGuard 3.3:8bの有害性判定を、7つのデータセットで説明した。一致率は抽出した規則と元の判定役の判定が一致する割合を指す。Granite GuardianとHarmBenchでは、GloVEが0.98、GELPEが0.34だった。
一方、LlamaGuardとAgentHarmではGloVEが0.93、GELPEが0.97だった。著者らは言い換えへの頑健性も調べ、対象とした各データセットから100件を抽出したと記す。利用者調査も実施しているが、確認できた本文の範囲では参加者数や設問の詳細は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で文章の安全性を確認する業務を対象に、既存のLLM判定役が何を有害と扱うか点検する。入力には利用許可を得た過去の文章と判定結果を使い、担当者が付けた有害・無害のラベルを照合用に用意する。
個別説明から規則一覧を作り、担当者が規則と対応する文章例を確認する。「ゲーム内の武器」のような文脈をどう扱うかも調べる。文章以外のセンサーは使わず、業務固有の表現や判定基準に合わせる必要があるかを検討する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の文章、既存のLLM判定結果、担当者が確認した有害・無害ラベルを用意する。文章以外のセンサーは不要で、追加学習用データの要件は確認できた本文の範囲では分からない。まず既存の判定役を比較基準とする。
同じ文章群からCLoVEとGloVEで規則を作り、規則と判定役の一致率、規則と担当者ラベルの一致率、不適切と判断された規則の割合を測る。言い換えや文脈を加えた文章でも確認し、業務の基準に合わせた規則の修正が必要か判断する。
限界と課題
著者らは、言い換え実験で有害な文章の言い換えを生成するモデルが拒否する例が多く、SimpleSafetyTestsとAgentHarmを対象から外したと記す。利用者調査による理解度と満足度の向上は小幅と説明している。
編集上の検証事項として、抽出された規則が人の安全基準にも合うか、業務固有の文脈を保てるかを確かめたい。判定役との一致率は判定役自体の正しさを示さない。確認できた本文の範囲では、利用者調査の人数や設問の詳細も分からない。
出典
元のタイトル・要旨を確認する（英語）
Interpreting LLM-as-a-Judge Policies via Verifiable Global Explanations
Using LLMs to evaluate text, that is, LLM-as-a-judge, is increasingly being used at scale to augment or even replace human annotations. As such, it is imperative that we understand the potential biases and risks of doing so. In this work, we propose an approach for extracting high-level concept-based global policies from LLM-as-a-Judge. Our approach consists of two algorithms: 1) CLoVE (Contrastive Local Verifiable Explanations), which generates verifiable, concept-based, contrastive local explanations and 2) GloVE (Global Verifiable Explanations), which uses iterative clustering, summarization and verification to condense local rules into a global policy. We evaluate GloVE on seven standard benchmarking datasets for content harm detection. We find that the extracted global policies are highly faithful to decisions of the LLM-as-a-Judge. Additionally, we evaluated the robustness of global policies to text perturbations and adversarial attacks. Finally, we conducted a user study to evaluate user understanding and satisfaction with global policies.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01