新着研究 / LLM
巨大な内部値はなぜ残り続けるのか――Transformerの「読まないが書き込む」経路を調べる
Read-Blindness in Transformers
Read-Blindness in Transformersの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: FFN read-blindness precedes amplifier specialization. We assign massive and control coordinates at the final checkpoint and trace these fixed sets through 21 checkpoints from 0 0 to 20 20 k training steps. (a) Maximum-over-layer FFN erasure for eventual massive coordinates (orange) and non-massive controls (gray). (b) Maximum-over-layer leading amplifier gain for the same sets. Lines and shaded regions show medians and interquartile ranges; vertical dotted lines mark t sep t_{\rm sep} , the first checkpoint at which the rank-biserial effect reaches r b ≥ 0.95 r_{b}\geq 0.95 . FFN erasure separates at 2.3 2.3 k steps, before amplifier gain at 4.5 4.5 k steps. (c) Final-checkpoint amplifier norm ‖ U k ‖ F \|U_{k}\|_{F} versus the inverse participation ratio of the corresponding FFN write row W down [ k , : ] W_{\text{down}}[k,:] . Colored points are massive coordinates, with size denoting massiveness and color denoting attention-input erasure; gray points are non-massive coordinates.
概要
- 巨大活性が残る仕組みとして、入力では読み取りが弱く、出力では書き込みが続く非対称性を報告した。
- 四つのモデルで分析し、学習途中では読み取りの弱さがFFNの増幅特徴より先に現れた。
- 一つの読み取り経路を制約しても巨大活性は残り、圧縮への有効性は別途検証が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Read-Blindness in Transformersの仕組み
- 01モデルの内部値
- 02巨大な座標を特定
- 03読み書き経路を測定
- 04持続の要因を分析
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Transformerの内部には、層をまたいで情報を運ぶ数値の列がある。その一部だけが他の値より極端に大きくなる「巨大活性」が、後の層でも残る。こうした外れ値は、少ないビット数で値を表す量子化の難しさにも関係する。
後続の層には値を打ち消す計算能力があるはずなのに、なぜ実際には消えないのか。原因が分かれば、モデル内部の診断や構造変更を評価する際の手掛かりになる。
手法
著者らは、各層の内部値から、同じ時点の座標の中央値に対して一定以上大きい座標を選ぶ。次に、注意機構とフィードフォワード層（FFN：各位置の情報を変換する部分）について、重みがその座標を入力としてどれほど読むか、出力としてどれほど書けるかを別々に測る。「読み取りの盲点」とは、座標の値を変えても後続計算の反応が弱い状態を指す。
例えば一つの座標が大きい場合、入力側の重み行列への反応と、出力側からその座標へ戻る更新を比較する。学習途中のモデルでも同じ測定を行い、さらに読み取り経路を制約して再学習したモデルで、巨大活性が残るかを調べる。
新規性
巨大活性の発生だけでなく、後続層がその値を小さくしない理由を、読み取り側と書き込み側の非対称性から調べた。注意機構とFFNの双方で、巨大な座標への入力感度が弱い一方、同じ座標への出力経路は残ると報告する。
学習途中の記録では、FFNによる増幅が際立つ前に読み取りの弱さが現れた。特定の読み取り経路を開く介入後も、別の経路へ性質が移る点を示した。
従来手法との違い
先行研究には、系列冒頭の語への注意や、FFNが特定の方向を増幅する働きから巨大活性を説明するものがある。本研究は、値が生じた後に各層を通って残る過程を、入出力の両側から測る。
ただし著者ら自身、学習途中でどちらが先に現れるかという観察は、因果関係の証明ではないと記している。増幅仮説を全面的に否定する結果ではなく、持続の説明に別の要素を加える分析である。
実験結果
著者らはLlamaの135M、1.28B、2.56BとQwen3の1.7Bを分析した。値の大きさが座標中央値の5倍を超えるものを巨大座標とし、モデルごとに5〜10座標を特定した。入力側の値投影とFFNの読み取りでは、巨大座標と他座標の分離を示す効果量が各モデルで0.99以上だった。
一方、鍵投影での効果は同じ測り方では0.11〜0.31と弱い。Llama 1.28Bの学習記録では、読み取りの弱さは約2.3千ステップ、FFNの増幅の特徴は約4.5千ステップで識別された。経路を制約した再学習後も巨大活性は残った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で使う言語モデルの圧縮方法を検討する際、極端に大きい内部値が出る層を診断対象にする。入力は評価用文章とモデルの各層の内部値、出力は大きな座標と、その読み書きの測定表である。
技術担当者は、候補となる低ビット化設定ごとに出力品質と内部値の変化を並べる。論文の分析は圧縮法そのものではないため、診断値を改善指標として扱う前に、実際の応答品質との関係を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：調べたい言語モデルと評価用文章を固定し、層ごとの内部値を記録する。極端に大きい座標を特定し、通常の座標を対照に、注意機構とFFNの入力側の反応、出力側の更新を同じ計算で比較する。
基準は変更前のモデルとし、構造や圧縮設定を一つずつ変えた場合の巨大値の数、最大値、対象業務での応答品質を測る。内部値だけが小さくなっても、応答が維持されるかを別に確認する。
限界と課題
著者らは、巨大座標への書き込み量を二乗の大きさで測るだけでは、各層の書き込みが同じ符号で積み重なるとは分からないと述べ、符号を考慮した追加分析を行った。また、読み取りの弱さが増幅より先に見えることは因果性を確定しない。
編集上の確認点は、異なる構造や用途のモデルでも同じ傾向が出るか、診断結果が低ビット化の品質改善に結び付くかである。一経路を変更しても巨大活性が残ったため、単一部品への対策の効果は慎重に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Which the Eye Fears: Writing with Read-Blindness Explains Massive Activations in Transformers
Massive activation features (MAs) in Transformers are extreme-value residual-stream features that persist across layers despite the model's ability to suppress them. Why do they survive? Our investigation using an operator-level mechanistic analysis of attention and feed-forward (FFN) blocks reveals that these blocks systematically ignore MA coordinates while reading, but not while writing; creating a read-write asymmetry that blocks corrective feedback while allowing continued accumulation. We find that both attention and feed-forward layers have this read-blindness, and contribute to the emergence and persistence of MAs. To validate prior work that hypothesized that FFN's amplification abilities is the primary reason for MAs (Sun et al., 2026), we analyze the model checkpoints during learning. Contrary to our expectation, read-blindness emerges before FFN amplification, suggesting that it acts upstream in the MA mechanism. We further contribute gradient analysis to link this behavior to surprising asymmetries in the loss landscape, concluding that the model actively maintains this read-blindness. Finally, we find that removing read-blocking at different locations induces compensatory shifts elsewhere, but MAs still persist.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29