アーカイブ / LLM
英語の設問を方言の文法に変えると、言語モデルの正答はどう変わるか
Analyzing Dialectical Biases in LLMs for Knowledge and Reasoning Benchmarks
Analyzing Dialectical Biases in LLMs for Knowledge and Reasoning Benchmarksの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Grammatical rules are applied to full QA datasets one at a time; the top five rules by accuracy reduction are shown for each facet (on the subset of questions for which the grammatical rule can be applied, and for which the LLM answered correctly when asked in SAE). Accuracy difference refers to the comparison between the original QA dataset and the QA dataset having applied only a single grammatical rule. Grammatical rule definitions are provided in Table 8 .
概要
- 質問文だけを六つの英語方言の文法に変え、選択式問題で三モデルの正答率を比較した。
- 標準英語版に正答したMMLUの設問では、GPT4o-miniのシンガポール英語版の正答率は88.8％だった。
- 著者らは三つの文法規則を、複数方言にまたがる今後の改善対象として挙げた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Analyzing Dialectical Biases in LLMs for Knowledge and Reasoning Benchmarksの仕組み
- 01標準英語の設問
- 02質問文を方言に変換
- 03３モデルで解答
- 04正答率を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
同じ知識を問う英語の質問でも、方言に由来する文法で書かれると、大規模言語モデル（LLM）の回答が変わる可能性がある。質問の書き方によって回答の正確さが異なれば、利用者が受けるサービスの質に差が生じる。
著者らは、選択式の知識・推論問題でその差が現れるかを調べた。さらに、方言全体の比較だけでは見えにくい、個々の文法規則と回答の変化との関係を分析した。
手法
著者らは、標準的なアメリカ英語の選択式設問を、文法規則に基づく変換ツールMulti-VALUEで六つの英語方言の書き方に変えた。選択肢と補助資料は元のままにし、元の設問と変換後の設問をGemma-2B、Mistral 7B、GPT4o-miniに解かせる。
方言に設定された規則一式を使うほか、規則を個別にも適用する。例えば「ゼロコピュラ」はbe動詞を省く規則で、「She is always studying」を「She always studying」に変える。正答率の比較では、実際に質問文が変わった設問を対象とし、元の設問に正答したものだけに絞る分析も行った。
新規性
著者らは、六つの英語方言を一括して比べるだけでなく、文法規則を一つずつ適用して正答率への影響を調べた。複数の方言に共通する規則も分析対象にしている。
存在を表す「it」、be動詞の省略、複数の相手を指す「y’all」の三規則について、各規則が適用できる設問での正答率低下を分析した。著者らはこれらを今後の改善対象として挙げるが、改善策の効果は検証していない。
従来手法との違い
基準は標準的なアメリカ英語で書かれた元の設問である。方言版では質問文だけを変え、選択肢と補助資料は変えない。標準英語版に正答した設問に絞る分析では、同じモデルが書き換え後にも正答できるかを調べる。
方言ごとの比較には、Multi-VALUEに設定された規則と適用頻度を使う。個別規則や規則の組み合わせを調べる際は、該当する文法構造があれば必ず変換する設定に変える。この設定の違いを踏まえて結果を読む必要がある。
実験結果
著者らはBoolQ、SciQ、MMLUの選択式問題を、解答例を追加で示さない設定で三モデルに解かせた。指標は正答率と標準英語版からの差（パーセントポイント）。変換ツールが処理できない設問は除き、方言版との比較では質問文が実際に変わった設問を集計した。
標準英語版に正答した設問に限ると、著者らの表ではMMLUのシンガポール英語版に対するGPT4o-miniの正答率は88.8％で、条件上100％となる基準より11.2ポイント低い。また、注目した三規則はそれぞれ、適用可能な設問で観測された方言版の正答率低下の少なくとも45％に対応すると報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の社内研修で使う選択式の知識確認を対象に、設問の書き方で回答が変わる箇所を担当者へ示す。入力は既存の設問、選択肢、正解ラベルと、職場で使われる表現を確認した書き換え例。出力は各版の回答と正誤の一覧とする。
追加学習は想定せず、学習データとセンサーは不要。担当者が書き換え例を対象の利用者に合わせ、設問の意味、正解、表現の自然さを確認してから評価する。実際の研修でも差が出るかは、別途確かめる仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解ラベル付きの英語の選択式設問を集め、元の設問、規則を一つ適用した版、複数適用した版を用意する。同じモデルに同じ選択肢で答えさせ、各版の正答率と回答が変わった件数を規則ごとに記録する。
追加学習は想定せず、学習データとセンサーは不要。必要な元データは設問、選択肢、正解ラベルである。書き換え規則を対象利用者の表現に合わせる場合は、人が各版の意味、正解、自然さを確認する。少数の設問で得た差を全利用場面へ広げて解釈しない。
限界と課題
著者らは、規則と設定された頻度による自動変換が実際の話者や書き手の表現を十分に再現するとは限らないと述べる。知識問題の書き言葉にも同じ規則が現れると仮定しており、誤字や大文字の使い方などは扱っていない。対象の設問とモデルも限られ、自由回答へ一般化できるとは限らない。
編集上の検証事項は、書き換え後も問いの意味と正解が保たれるか、対象の利用者にとって自然か、実際の利用場面でも回答差が生じるかである。結果を個々の話者の能力評価に用いる根拠はない。
出典
元のタイトル・要旨を確認する（英語）
Analyzing Dialectical Biases in LLMs for Knowledge and Reasoning Benchmarks
Large language models (LLMs) are ubiquitous in modern day natural language processing. However, previous work has shown degraded LLM performance for under-represented English dialects. We analyze the effects of typifying "standard" American English language questions as non-"standard" dialectal variants on multiple choice question answering tasks and find up to a 20% reduction in accuracy. Additionally, we investigate the grammatical basis of under-performance in non-"standard" English questions. We find that individual grammatical rules have varied effects on performance, but some are more consequential than others: three specific grammar rules (existential "it", zero copula, and y'all) can explain the majority of performance degradation observed in multiple dialects. We call for future work to investigate bias mitigation methods focused on individual, high-impact grammatical structures.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01