アーカイブ / LLM
入力が重みの中の関連を呼び出す――「特徴想起」というモデルの読み方
Feature Recall
概要
- 著者は、入力特徴が学習済みの重みを介して関連特徴を呼び出す働きを「特徴想起」と定義する。
- 特徴結合と特徴想起は同じ行列計算の異なる読み方であり、実際のモデルで区別できるかは未解決である。
- 著者は接続比による検証を提案するが、本文には実測値や定量的な比較結果は示されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Feature Recallの仕組み
- 01人物名とplays
- 02名前の特徴を結合
- 03重みから関連を想起
- 04basketballを予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルが人物名だけを手掛かりに詳しい説明を作るとき、説明に含まれる情報の多くは入力文に書かれていない。入力の要素を組み合わせるという見方だけでは、学習済みの重みにある関連が出力へ現れる過程を説明しにくい。
機械論的解釈とは、モデル内部の計算をたどり、出力が生じる仕組みを調べる研究である。著者は、入力が重みに保持された関連を呼び出すという見方を整理し、言語モデル以外にも適用できる概念として提示する。
手法
特徴想起は、入力中の性質を表す「特徴」の強さに応じて、学習済みの重みに記録された関連を出力側へ反映する働きである。「線形投影」は入力の数値と重みを掛け合わせる計算を指す。著者は、入力特徴が強まると、対応する重みの行が強く反映され、関連する一つ以上の出力特徴が活性化すると読む。得られた特徴は後続の計算に渡される。
論文の模式例では、「Michael Jordan plays」を処理する際、注意機構が語の位置を越えて情報を運び、「Michael」と「Jordan」の特徴が結合される。続いてその人物に対応する特徴が、バスケットボール選手などの関連を呼び出し、「basketball」という次の語の予測に役立つ。図は説明用に単純化されており、実際の特徴が一つずつ別のニューロンに対応するとは限らない。
新規性
著者は、事実の想起を一般化し、入力特徴の活性値が学習済みの重みを介して関連する出力特徴を呼び出す働きを「特徴想起」と定義する。呼び出される関連には事実だけでなく概念も含まれ、その内容が正しいとは限らない。
この読み方を言語モデルから畳み込みニューラルネットワークなどの線形投影へ広げ、特徴結合との区別を実際のモデルで調べるための接続比も提案した。接続比が有効な判定基準になるかは、今後の実証課題である。
従来手法との違い
従来の「特徴結合」は、複数の入力特徴を組み合わせて一つの出力特徴を検出する読み方である。論文の円検出の模式例では、画像の部分的な模様から円の特徴を作る処理に当たる。
特徴想起は、一つの入力特徴が重みを通じて一つ以上の関連特徴を呼び出すと読む。同じ行列計算を、重みの列と入力の積として見るか、入力で重みの行を拡大して足すかの違いであり、数学的には等価である。著者は両者を補完的な説明として位置付ける。
実験結果
確認できた本文の範囲では、著者は特徴想起を計算の読み方として論じている。人物に関する事実想起、円の検出、手書き数字に含まれる円形部分はいずれも模式例であり、学習済みモデルで測定した結果ではない。データセット別の性能値や比較実験の数値は報告されていない。
実証に向けて著者が提案する「接続比」は、ある出力特徴に結び付く重みが、一つの入力特徴へどれほど集中しているかを表す。比が高い経路が認識できる関連の呼び出しに対応するか、比の分布に二つの群が現れるかを調べる構想である。本文には接続比の実測値も、判定のしきい値も示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内向け言語モデルに人物名を含む短い文を入力し、出力された人物情報につながる内部特徴を調べる。調査担当者は、入力文、モデルの活性値と重み、候補となる特徴間の経路を記録し、人手で確認した関連情報との対応を一覧にする。
対象は既存の学習済みモデルとし、元の学習データは使わない。確認には人物情報の正誤ラベルが必要で、センサーは不要である。特徴を取り出す手順は対象モデルに合わせて調整する。この一覧は誤答を調査する手掛かりとして使い、経路だけで原因が確定したとは扱わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：内部の重みと活性値を調べられる学習済みモデルを選び、人物名を含む入力文と確認したい人物情報を用意する。元の学習データでの追加学習は行わず、関連情報の正誤ラベルを人手で付ける。必要な入力は文章、重み、活性値で、センサーは不要である。
対象モデルに合わせて特徴を取り出す手順を定め、特徴間の重みから接続比を計算する。比較基準には、接続比による絞り込みをせずに調べた経路を置く。正しい関連情報を指した経路の割合と、文を言い換えても同じ経路が見つかる割合を比べ、調査に使えるかを判断する。
限界と課題
著者が明示する留保は、特徴結合と特徴想起が数学的には同じ行列計算の二つの読み方であることだ。提案した接続比が両者を分ける有用な基準になるかは未検証である。また、複数の特徴が同じニューロンに重なり得るため、比を適用する前に解釈可能な特徴を取り出す必要がある。
編集上の検証事項は、取り出した特徴が人に解釈できるか、比の高い経路が実際の関連情報の呼び出しに対応するか、入力の言い換えでも対応が保たれるかである。現時点で、特定モデルの誤答原因をこの方法で特定できるとは言えない。
出典
元のタイトル・要旨を確認する（英語）
Deep Learning Models Also Recall Features
Recent work in mechanistic interpretability has studied how large language models recall facts stored in their weights. This paper argues that factual recall points to something broader: a general kind of operation in deep learning models, which I call feature recall. The core observation is that a linear projection can be read as retrieving stored information scaled by input activations. I define feature recall, show it applies across architectures, and contrast it with the established paradigm of feature combination. I also consider how cases of feature recall might be mechanistically identified. The account gives philosophers a new conceptual tool for understanding deep learning, and points to empirical directions for mechanistic interpretability research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01