アーカイブ / LLM
質問の言い換えを種類ごとに制御し、LLMの回答の揺れを調べる
AUGMENT
AUGMENTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example from the BBQ dataset illustrating a question designed to assess social biases Parrish et al. (2022) .
概要
- AUGMENTは変更の種類を指定してBBQの状況説明文を言い換え、品質を確認してからLLMの回答の揺れを調べる。
- BBQの性自認区分では、前置詞変更の人手判定による正確率がDeepSeek-V3-Chatで82.47％、ChatGPT（gpt-4o）で88.70％だった。
- 著者らは追加の人手注釈が必要と述べ、１入力につき１候補の生成が自動検査後の残存数を抑えた主な理由とした。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AUGMENTの仕組み
- 01BBQの文脈文
- 02変更種別の指定
- 03文脈の言い換え
- 04正しさの検査
- 05回答の比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AUGMENTは、質問の意味を保って言い方を変え、LLMの回答がどれほど揺れるかを調べる枠組みである。LLMとは、大量の文章を学習し、入力文に応じて文章を生成する言語モデルを指す。一つの言い方だけで評価すると、利用者の表現が変わったときの挙動を見落としうる。
著者らは、社会的な属性に関する設問の評価を対象にした。設問の表現で回答が変われば、正答率だけでなく偏りの測定にも影響するため、変更した箇所を追える言い換えが必要になる。
手法
入力は、社会的偏りを調べる質問集BBQのうち、性自認区分の状況説明文である。著者らは前置詞の変更、またはアフリカ系米国人の英語表現（AAE）への変換を指定し、生成用LLMに一種類ずつ言い換えさせる。たとえば前置詞を変える場合、人物を表す語、質問文、選択肢は保ち、状況説明文を変える。
生成文は人が意味の近さ、自然さ、指定した変更の正しさを判定する。自動検査では、前置詞なら語の差分と品詞、AAEなら方言を判定する分類器を使い、変更がない文などを除く。残った文で元の質問と変換後の質問を作り、評価対象のLLMの回答、正答率、偏りなどを比べる。
新規性
著者らの主張する進歩は、言い換えの種類を指定して生成し、どの変更に対する回答の揺れかを追えるようにした点にある。既存の言い換え分類から前置詞の変更を選び、方言への変換も加えた。
生成文には人手の判定に加え、変更種類に応じた自動検査を適用する。ただし、最終的な採否に使った自動検査は変更の正しさを対象としており、意味の保持や自然さをすべて保証するものではない。
従来手法との違い
著者らが挙げる従来の大文字・句読点・回答順の変更は、形式の決まった質問で試しやすい。一方、自由な言い換えでは変更箇所を特定しにくく、意図しない意味の変更が評価に混ざりうる。
AUGMENTでは前置詞か方言かを指定し、生成後に条件への適合を調べる。確認できた本文の範囲では、従来の自由な言い換え手法と同一条件で性能を比べた数値は示されていない。
実験結果
著者らはBBQの性自認区分にある60種類の質問から、曖昧な文脈と明確な文脈の計120文脈を言い換えた。前置詞変更の人手判定による正確率はDeepSeek-V3-Chatで82.47％、ChatGPT（gpt-4o）で88.70％で、変更のない文を除いた値である。
正しさの自動検査後は、対応する文脈を対で残し、前置詞変更でChatGPTの43問、DeepSeekの30問が残った。著者らの５種類の入力にわたる集計では、Llama-2-13b-chat-hfの明確な文脈での正答率の幅は24.15ポイントだった。ただし変換種類ごとに残った問題数が異なるため、この幅を言い換えだけの効果とは断定できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程を答える対話AIの監査に使う。入力は個人情報を除いた問い合わせ文、対応する規程文書、担当者が確定した正答と参照先である。まず「〜について」を「〜に関して」に変えるような、対象業務で実際に使う言い回しを一種類選ぶ。
質問の意味を保つよう生成指示を業務文に合わせ、人が通過文を確認する。元文と変換文を同じAIに送り、回答と参照先の変化を記録する。文章だけを入力とする想定で、センサーは使わない。業務での効果は未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答と根拠文書を担当者が確認できる社内質問を少数集め、元の質問への回答を基準にする。元データは匿名化した問い合わせ文と対応する規程文書、正答ラベルは確認済みの回答と参照先とする。文章のみを扱い、センサーは使わない。
まず業務で使う言い換えを一種類選び、質問と選択肢に相当する部分を固定するよう生成指示を調整する。担当者が意味と自然さを点検した文だけを使い、元文と変換文の正答率、参照先の一致率、回答が変わった件数を比較する。
限界と課題
著者らは、言い換え手法を十分に評価するには人手の注釈を増やす必要があると述べる。検証の中心はBBQの性自認区分で、各入力・変更種類につき生成は１候補だった。自動検査後の残存数が少ないことについても、この候補数を主な理由に挙げている。
編集上の検証事項は、別の業務や言語でも意味と自然さが保たれるか、自動検査の誤判定が結果を左右しないかである。入力の概要はMMLUにも言及するが、確認できた本文の範囲ではその実験条件と結果を確認できない。
出典
元のタイトル・要旨を確認する（英語）
Say It Another Way: Auditing LLMs with a User-Grounded Automated Paraphrasing Framework
Large language models (LLMs) are highly sensitive to subtle changes in prompt phrasing, posing challenges for reliable auditing. Prior methods often apply unconstrained prompt paraphrasing, which risk missing linguistic and demographic factors that shape authentic user interactions. We introduce AUGMENT (Automated User-Grounded Modeling and Evaluation of Natural Language Transformations), a framework for generating controlled paraphrases, grounded in user behaviors. AUGMENT leverages linguistically informed rules and enforces quality through checks on instruction adherence, semantic similarity, and realism, ensuring paraphrases are both reliable and meaningful for auditing. Through case studies on the BBQ and MMLU datasets, we show that controlled paraphrases uncover systematic weaknesses that remain obscured under unconstrained variation. These results highlight the value of the AUGMENT framework for reliable auditing.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01