アーカイブ / LLM
曖昧な文を読む言語モデルは、どの特徴で続きを選ぶのか
Sparse Feature Circuits
Sparse Feature Circuitsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview. We use sparse autoencoders to decompose model activations into a discrete set of human-interpretable components (features). We score each feature by its causal contribution to continuations associated with each reading of a garden path sentence. We manually interpret the top-scoring features and causally verify their functional role in the network by targetedly up- or downweighting them to change the model’s preferred reading.
概要
- 曖昧文の二つの続きに対する予測を、モデル内部の特徴と結び付けて分析した。
- 構文に関わる特徴への介入で対象文の選好が反転し、両方の読み方に対応する特徴も活動した。
- 抽出回路はモデル全体の働きを十分に再現しておらず、業務用途には別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Sparse Feature Circuitsの仕組み
- 01曖昧文と候補語
- 02続きの確率比較
- 03特徴の寄与推定
- 04介入後の確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、言語モデルが曖昧な文を途中まで読んだとき、どの情報を使って次の語を選ぶかを調べる。「The guitarist knew the song」では、songを前の動詞の目的語とも、次の節の主語とも読める。
後続部分で当初の読み方が覆る文は、ガーデンパス文と呼ばれる。モデルがもっともらしい続きを予測できても、その判断に文の構造を使ったのか、表面的な単語の手掛かりを使ったのかは分からない。
手法
著者らは、文を左から読む言語モデルに曖昧文の前半を入力し、二つの読み方に対応する次トークンの確率を比べる。例えば「The guitarist knew the song」の後では、文を閉じるピリオドと、次の節につながる「was」を候補にする。トークンとは、モデルが予測の単位として扱う文字列である。
次に、疎な自己符号化器という、モデル内部の活動を少数ずつ働く特徴に分ける仕組みを使う。各特徴をゼロにしたときの確率差への影響を近似して重要な特徴を選び、主語や目的語などに対応するものを人が確認する。さらに特徴の値を強めたり消したりして予測を再測定する。入力は文と候補語、出力は続きの確率と、予測に関わる特徴の分析である。
新規性
著者らは、文の構造に関する情報をモデル内部から読み取るだけでなく、その情報が続きを選ぶ予測に関わるかを介入で調べた。主語、目的語、節の終わりに対応する特徴を操作し、対象文での選好が変わることを示した。
また、曖昧な入力では両方の読み方に対応する特徴が活動した。一方、特定の単語を検出する特徴など、構文とは直接関係しない手掛かりも予測に影響した。
従来手法との違い
従来の構造プローブは、モデル内部の表現から文の構造を読み出す手法である。ただし、読み出せた情報をモデル自身が次の語の予測に使ったかは、それだけでは分からない。
本研究は、特徴を消した場合の予測の変化を推定し、重要とみられる特徴を強めたり消したりして確かめる。同数のランダムな特徴を操作する対照実験も行い、対象とした構文関連の特徴への介入で続きの選好が反転したと報告した。
実験結果
著者らは、各24文の三つの文型からなる計72文を用い、Pythia-70m-dedupedとGemma-2-2bを対象にした。本文の主な報告は前者についてで、曖昧文と、一方の読み方だけが成り立つ文について、二つの次トークンの確率を比較した。
Pythia-70mの特徴分析では、NP/S型で155個、NP/Z型で65個の特徴を抽出した。著者らの定義による回路の忠実度は順に0.20、3.48である。構文関連の特徴への介入で選好は反転し、同数のランダムな特徴への介入では反転しなかった。MV/RR型は候補語の確率が低く、後続の分析から除外された。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内文書を参照して質問に答える仕組みで、係り先によって意味が変わる質問を回答前に確認へ回す。入力は質問文と参照文書、出力は利用者への確認文と、意図が確定した後の回答とする。
検討には、実際の社内質問と参照文書、人が確定した意図のラベルが必要になる。対象の文面に合わせて曖昧さの判定方法を調整する必要もある。論文はこの業務での検出性能や回答品質を測っておらず、用途は研究結果から着想した仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。まず、実際の社内質問から曖昧な文と意味が明瞭な文を集め、参照文書とともに、人が意図する読み方と適切な確認文をラベル付けする。入力は文章なので追加のセンサーは要らない。
現行の回答手順を比較対象とし、質問文の特徴に合わせて確認へ回す判定方法を調整する。同じ質問群で、意図の取り違え率、不要な確認の割合、確認後の回答の正確さを測る。論文での特徴介入の結果を、社内質問での改善率とはみなさない。
限界と課題
著者らは、抽出した回路の忠実度が完全な再現を示す値から離れており、重要な特徴を取りこぼしていると述べる。また、二つの次トークンの確率だけでは読み方を十分に測れない場合があり、MV/RR型を後続の分析から除外した。
編集上の検証事項は、別のモデルや日本語でも解釈に関わる特徴を見つけられるか、確認を挟む運用が通常の質問への回答を損なわないかである。著者らは追質問で先の特徴を再利用しないと述べるが、確認できた本文の範囲では、その実験条件と結果の詳細は追えない。
出典
元のタイトル・要旨を確認する（英語）
Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
Autoregressive transformer language models (LMs) possess strong syntactic abilities, often successfully handling phenomena from agreement to NPI licensing. However, the features they use to incrementally process language inputs are not well understood. In this paper, we fill this gap by studying the mechanisms underlying garden path sentence processing in LMs. We ask: (1) Do LMs use syntactic features or shallow heuristics to perform incremental sentence processing? (2) Do LMs represent only one potential interpretation, or multiple? and (3) Do LMs reanalyze or repair their initial incorrect representations? To address these questions, we use sparse autoencoders to identify interpretable features that determine which continuation - and thus which reading - of a garden path sentence the LM prefers. We find that while many important features relate to syntactic structure, some reflect syntactically irrelevant heuristics. Moreover, while most active features correspond to one reading of the sentence, some features correspond to the other, suggesting that LMs assign weight to both possibilities simultaneously. Finally, LMs do not re-use features from garden path sentence processing to answer follow-up questions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01