アーカイブ / LLM
疎な言語モデルの重み一つは、いつ予測に効くのか
Per-weight Interpretability Pipeline
Per-weight Interpretability Pipelineの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Per-weight causal impact distribution on a held-out distribution. Gray bars: total nonzero weights per | Δ CE | |\Delta\mathrm{CE}| bin. Colored bars within each gray bar show the fraction of weights in that bin that pass our interpretability test. The right-most column collects parameters that are exactly zero. Error bars are ± \pm 1 SEM. Pooled interpretability scores across all nonzero weights: Gao et al. (2025) 15 % 15\% , Drori (2026) sparse 9.6 % 9.6\% , Drori (2026) dense 1.5 % 1.5\% , Pythia-70m 0.4 % 0.4\% .
概要
- 重み一つをゼロにして予測が変わる位置を探し、その位置に共通する条件をLLMで作る。
- 著者らの頑健な判定率は、抽出した非ゼロ重みについて疎な二モデルで15.0%と9.6%、密な二モデルで1.5%と0.4%だった。
- 条件は未使用の文章でも検証するが、説明の対象は主に重みが予測に影響する入力条件である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Per-weight Interpretability Pipelineの仕組み
- 01非ゼロ重みと文章
- 02無効化して予測比較
- 03影響箇所から条件生成
- 04別の文章で条件検証
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、言語モデル内の重み一つが、どんな入力で予測に効くかを調べる。重みは計算を決める数値だが、同じ重みが複数の動作に関わり得る。一つの動作だけを見ても、その重みの働く範囲は分からない。
重み疎なモデルは、大半の重みをゼロにして学習するため、残った重みを個別に調べる対象になる。入力条件を確かめられれば、予測が変わる理由を追う手掛かりになる。
手法
重み一つをゼロにしたモデルと元のモデルに同じ文章を入れ、各位置の次の単語片の予測差を測る。単語片はモデルが文章を区切る単位で、予測差には二つの確率分布の違いを表すKLダイバージェンスを使う。差が集中した位置の前後をLLMに渡し、位置が条件に当たるかを判定するPython関数を複数作る。
例えば数字を含む位置で差が出れば、数字の単語片を検出する関数が候補になる。条件に当たる位置だけで重みを戻し、正しい次の単語片に対する予測損失がどれだけ回復するかを測る。条件外で戻した効果と適用範囲も調べ、得点が最も高い条件を未使用の文章で再評価する。
新規性
著者らは、調べたい動作を先に選ばず、重み一つが予測に影響する入力条件を短い説明として生成し、別の文章で検証する手順を示した。対象は学習済みモデルに残った非ゼロの重みである。
条件が当たる位置で重みを戻した効果に加え、条件外で戻した効果も測る。説明できるのは「いつ効くか」であり、その重みの全機能ではない。
従来手法との違い
従来の回路探索は、特定の動作に関わる重みの集まりを調べる。本研究は動作を指定せず、重みを一つずつ無効化して影響が現れる入力を探す。
評価には疎なモデル二つと密なモデル二つを使う。SimpleStoriesの疎なモデルと密なモデルは同じ構造だが、Pythia-70mは別の事前学習済みモデルである。四モデル間の割合を、学習条件までそろえた比較とは扱えない。
実験結果
著者らは、Pythonコードで学習したGaoらの疎なモデル、SimpleStoriesの疎なモデルと同構造の密なモデル、密なPythia-70mから、非ゼロ重みを抽出して評価した。条件の得点は損失の回復と条件外での効果から求め、適用範囲を文章中の位置の半分以下、合格しきい値を0.75とした。
著者らが報告する頑健な判定率は、この順に15.0±1.7%、9.6±1.1%、1.5±0.6%、0.4±0.3%である。条件作成に使った文章とは別の文章片10個で再採点し、平均得点がしきい値を超え、判定の揺れも考慮した割合だ。ゼロの重みは分母に含まない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：Pythonコードで学習した重み疎な補完モデルの調査に使う。入力は対象モデルの非ゼロ重みと、その学習分布に近いPythonコード本文。正解の次の単語片は本文から得られ、外部センサーや人手の分類ラベルは使わない。
重みごとに影響が出る位置の条件を作り、別のコード群で確かめる。出力を、補完が変わる箇所を開発者が調べるための候補一覧にする。対象モデルとコードに合わせた条件の作成・再検証が必要で、補完品質の改善は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：Pythonコードで学習した対象の重み疎なモデルと、その学習分布に近いコード本文を用意する。本文を条件作成用と検証用に分け、正解の次の単語片は本文から得る。人手の分類ラベルや外部センサーは不要である。
少数の非ゼロ重みを無効化して条件を作り、別のコードで得点を測る。比較基準は重みを常にゼロにした場合と元のモデルの損失に置く。条件の適用範囲、基準を満たす重みの割合、コード群を替えた際の得点の揺れを記録し、対象モデルに条件を適用できるか判断する。
限界と課題
著者らは、重みを無効化した際の損失差が極めて小さい領域では、測定の揺れで条件の得点が高くなり得ると述べる。生成された条件は近くの単語片を見るものが中心で、文章全体にまたがる状態を追う条件は観察していない。
編集上の検証事項は、別のモデルや文章群でも条件が再現するか、説明を人が誤解なく使えるかである。条件を作るLLMによって判定率の絶対値も変わるため、個々の説明を運用判断に使う前に確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Individual Parameters in Weight-Sparse Transformers Appear Interpretable
A central goal of mechanistic interpretability is to understand how neural networks work and what each individual component does. Dominant circuit-finding approaches focus on a specific behavior and reverse-engineer the role of components on the associated sub-distribution. However, past work has shown that components can have different functions that are active on different subsets of the input distribution. In this work we ask whether a single weight can be understood globally across the full training distribution by characterizing when it matters (the inputs on which ablating it changes the model's predictions). We introduce an automated LLM pipeline that writes a short, human-readable description of when a weight matters and verifies it on held-out text, crediting a weight only if its description generalizes. Across two sparse and two dense transformers, the fraction of weights that are interpretable (in this sense) is higher in sparse transformers than in dense ones, a gap that widens once unreliable descriptions are discarded. Our results show that a meaningful fraction of a sparse transformer model's weights can be interpreted: 12 to 31% of weights have a single short description that identifies what the weight is used for.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01