アーカイブ / LLM
代名詞の予測で、先の手掛かりと後の手掛かりをどう使うか：BERTとGPT-2の分析
Value Zeroing and Value Patching
Value Zeroing and Value Patchingの原論文から掲載した図です。細部はクリックして拡大できます。
出典：Value Zeroing and Value Patching / arXiv ↗概要
- WikiBioの人物紹介文を用い、複数の手掛かりが末尾の代名詞予測にどう関わるかを調べた。
- 著者らは、BERTは先の手掛かり、GPT-2は後の手掛かりを概して重視すると報告した。ただしGPT-2には手掛かりが二つの場合の例外がある。
- 内部表現への寄与と予測確率への影響を別々に測った。分析対象は正しく予測した事例で、図や表の数値は確認できた本文にない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Value Zeroing and Value Patchingの仕組み
- 01WikiBioの紹介文
- 02末尾代名詞を予測
- 03語ごとに内部値を介入
- 04表現差と確率差
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、人物紹介文のどの語が、後に続く英語の代名詞の予測を左右するかを調べる。名前、性別を示す名詞、既出の代名詞が同じ人物を指す文では、正解につながる手掛かりが一つとは限らない。
複数あるうちのどれをモデルが使うかが分かれば、語の配置を変えたときに予測がどう変わるかを点検できる。著者らは、各語が単独でも対象の代名詞を判別できる場合に着目した。
手法
WikiBioの人物紹介文で、最後の代名詞を予測対象にする。例えば「Ron Masak is an American actor. He began…his work」なら、BERTではhisを伏せ、GPT-2ではhisの直前までを入力する。Value Zeroingは、各語から渡る内部の値を一時的にゼロにし、対象位置の表現が元とどれだけ離れるかを測る。
Value Patchingでは、手掛かりを反対の性別を示す語に置き換えた文を別に処理し、その内部の値を元の文の一語分へ移す。名前も対応する別名に置き換える。元の正解代名詞の予測確率がどれだけ変わるかを、語と層ごとに測る。前者は情報の混ざり方、後者は予測への影響を見る方法である。
新規性
著者らは、末尾の代名詞を判別できる手掛かりが文中に複数ある場合を調べた。各語が代名詞の位置の内部表現に与える寄与と、予測確率に与える影響を、別の介入で測っている。
両方の分析から、調べた条件ではBERTが先の手掛かり、GPT-2が後の手掛かりを概して重視すると報告した。内部情報が混ざることと、その情報が予測に使われることを分けて確かめた点が特徴である。
従来手法との違い
先行研究で主に扱われた手掛かりが一つの文に対し、本研究は複数の手掛かりを含む文を対象にした。伏せた語を前後の文脈から予測するBERTと、直前までの語から次の語を予測するGPT-2を比較している。
著者らによると、BERTでは先の手掛かり、GPT-2では後の手掛かりの寄与が概して大きい。ただし手掛かりが二つの場合、GPT-2の予測確率への介入では一つ目の影響が二つ目を上回った。この例外を含む結果である。
実験結果
著者らはWikiBioのテスト集合から紹介文を取り、手掛かりを自動で付けた。手掛かり数が2～6の群を過少抽出で均衡化し、追加学習用と分析用に分割した。事前学習済みと追加学習後のBERT、GPT-2を調べ、主な図には手掛かりが2、4、6個の結果を示す。
Value Zeroingでは対象位置の表現間のコサイン距離、Value Patchingでは正解代名詞の予測確率の差を測った。著者らは、両分析の位置傾向がおおむね一致すると報告する。確認できた本文の範囲では図の数値、各群の件数、正解率の表の値は示されず、差の大きさや精度は数値で比較できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の人物紹介文で、末尾の代名詞を補う機能の評価に使う。入力は同一人物を指す名前、性別を示す名詞、既出の代名詞を含む文、出力は末尾の代名詞と、各手掛かりへの介入で生じる予測確率の変化とする。
対象業務の紹介文と正解代名詞ラベルを評価用に集める。追加学習も試すなら、別の学習用文章とラベルが要る。専用センサーは不要で、対象モデルに合わせて伏せ字か次語予測かを選ぶ。位置による傾向を調べる用途であり、精度改善は仮説にとどまる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の英語の人物紹介文を集め、末尾の代名詞に正解ラベルを付ける。名前、性別を示す名詞、既出の代名詞の位置も記録する。追加学習を行う場合は、評価用と分けた学習用の文章とラベルを用意する。必要なセンサーはない。
まず元の文での正解率を基準値として測る。次に、意味が保てる文について手掛かりの順序を変え、正解率と正解代名詞の予測確率を比べる。BERT型なら伏せ字、GPT-2型なら次語予測へ入力を合わせ、位置別の傾向が対象文でも再現するかを確認する。
限界と課題
著者らが明記する制約は、複数の手掛かりを持つ文法的一致の課題を扱い、計算資源の制約から基本サイズのBERTとGPT-2だけを調べたことだ。質問応答や、より新しい大規模モデルでの分析は今後の課題としている。
編集上の検証事項は、別種の文章やモデルでも位置の傾向が続くか、予測を誤った文ではどうなるかである。内部分析の対象には代名詞を正しく識別した事例を選んでいる。また、データのラベルは二値であり、その範囲外の表現への適用はこの実験から判断できない。
出典
元のタイトル・要旨を確認する（英語）
How Language Models Prioritize Contextual Grammatical Cues?
Transformer-based language models have shown an excellent ability to effectively capture and utilize contextual information. Although various analysis techniques have been used to quantify and trace the contribution of single contextual cues to a target task such as subject-verb agreement or coreference resolution, scenarios in which multiple relevant cues are available in the context remain underexplored. In this paper, we investigate how language models handle gender agreement when multiple gender cue words are present, each capable of independently disambiguating a target gender pronoun. We analyze two widely used Transformer-based models: BERT, an encoder-based, and GPT-2, a decoder-based model. Our analysis employs two complementary approaches: context mixing analysis, which tracks information flow within the model, and a variant of activation patching, which measures the impact of cues on the model's prediction. We find that BERT tends to prioritize the first cue in the context to form both the target word representations and the model's prediction, while GPT-2 relies more on the final cue. Our findings reveal striking differences in how encoder-based and decoder-based models prioritize and use contextual information for their predictions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01