アーカイブ / LLM
言語モデルの内部活動から反復パターンを探し、入力と予測の関係を調べる
Chunks from Neural Embeddings (CNE)
Chunks from Neural Embeddings (CNE)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : (Top) Naturalistic data is highly redundant and compositional, e.g. in language sequences. Cognitive systems segment redundancies by chunking recurring patterns. The reflection hypothesis posits that ANNs neural activities can be interpreted as chunks that reflect the structured regularities in reality. (Bottom) In simple networks that contain a small number of neurons, chunking methods can be used to learn a dictionary of frequently recurring population trajectories. The discrete representations of the embedding state can reliably predict the input in the sequence and network’s predictions.
概要
- CNEは、モデル内部の複数のニューロンに現れる反復活動を抽出し、入力の規則性との対応を調べる。
- 著者らは人工文字列を学習したRNNで、記号化した内部状態からテスト集合の入力を完全に復号できたと報告する。
- 実務への適用には、別の文章での検出と誤検出、内部状態の変更が対象外の予測に与える影響を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Chunks from Neural Embeddings (CNE)の仕組み
- 01反復する文字列
- 02内部活動を記録
- 03活動を記号化
- 04反復列の辞書
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文章の続きを予測するモデルでは、多数の内部要素が同時に活動する。予測と単独のニューロンだけを結び付けても、複数の要素に分散した情報や、それまでに読んだ文字・語との関係を捉えきれない場合がある。
著者らは、繰り返し現れる情報を一つのまとまりとして捉える「チャンク化」に着目した。入力の規則性が内部活動にも現れるなら、そのまとまりを手がかりに予測との関係を調べられる、という仮説を検証する。
手法
小規模な実験では、「ABCD」が繰り返し現れる人工文字列を、次の文字を予測するRNNに入力する。RNNは過去の入力を内部状態に保持するネットワークである。各時点のニューロン活動を記録し、活動値を近い値ごとに分けて記号へ変える。続けて頻出する記号列を結合し、内部状態の反復パターンを辞書にする。
高次元の言語モデルでは別の二つの方法を試す。「cheese」のように対象語が既知なら、その出現位置の活動を平均し、変動の小さい要素と許容範囲を定めて検出する。対象語が未知なら、活動との余弦類似度、すなわちベクトルの向きの近さを高めるよう辞書を学ぶ。出力は、入力との対応を調べるための活動パターンである。
新規性
著者らは、入力に繰り返し現れる構造が、モデル内部の複数のニューロンの活動にも反映されるという「反映仮説」を立てる。活動の時間的な連なりから、繰り返すまとまりを取り出す解釈法である。
状態の次元と、入力中の反復語が既知かどうかに応じて三つの抽出法を使い分ける。得られたまとまりと入力の対応に加え、内部状態を変更したときの予測も調べる。
従来手法との違い
本文が紹介する従来の研究には、特定の意味に反応する単独のニューロンや注意機構の一部を調べる方法がある。疎な自己符号化器は、内部活動を少数の活性化要素で表す方法として説明されている。
CNEは、複数のニューロンにまたがる活動と、その時間的な連なりに着目する。反復語が既知なら平均活動を使い、未知なら活動同士の類似度から辞書を学ぶ。ただし、確認できた本文の範囲では、これらの従来法との定量比較は示されていない。
実験結果
著者らは、既知の「ABCD」を周期的に置く文字列、「E」の間にまばらに置く文字列、「E」「F」「G」が混じる背景に置く文字列で、それぞれ次の文字を予測するRNNを訓練した。記号化した内部状態と入力の対応表を使い、テスト集合では入力を完全に復号できたと報告する。対象となった系列やテスト件数の詳細は、確認できた本文の範囲では分からない。
抽出した状態をRNNに移すと予測が変わり、複合語を学ぶ転移実験では、状態を変更したRNNの学習曲線が変更しないRNNを上回ったと著者らは述べる。要旨はLLaMAでの概念の活性化・抑制にも言及するが、その効果量や評価条件はここでは確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の文章生成モデルが、製品名を含む文脈でどのような内部活動を示すか調べる。必要な元データは、利用許諾を確認した製品名入りの文章と、同じ語を異なる文脈で使う文章である。語の位置と文脈を記録するラベルを付け、追加のセンサーは使わない。
対象モデルで各文を処理し、語の出現位置の内部状態から平均活動を求める。別の文章で候補が検出される位置と次の語の予測を記録し、文脈別の一覧を出力する。業務文書でも有用なまとまりが見つかるかは未確認である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用許諾を確認した文章から、対象の製品名が出る文と出ない文を集める。必要なラベルは語の出現位置と文脈で、人手で確認する。対象モデルの内部状態を取得できる環境で文章を処理し、各層の活動と次の語の予測を記録する。外部センサーは使わない。
語の出現位置だけで判定する基準を置き、平均活動から作る候補と比較する。別に確保した文章で正しく検出した割合と誤検出した割合を文脈別に測る。候補状態を変更する試験では固定した少数の文を使い、対象語以外の予測変化も確認する。
限界と課題
著者らは、平均活動による抽出には入力中の反復パターンを事前に知る必要があると述べる。同じ語でも文脈によって複数の内部状態が生じる場合、平均すると識別しにくくなる可能性も挙げる。活動を記号列に変える方法は、次元の小さい状態を対象とする。
編集上の検証事項は、文脈が変わっても検出が安定するか、別の語を誤検出しないか、状態の変更が対象外の予測にどう影響するかである。確認できた本文の範囲では、実務データでの再現性や運用費用は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Discovering Chunks in Neural Embeddings for Interpretability
Understanding neural networks is challenging due to their high-dimensional, interacting components. Inspired by human cognition, which processes complex sensory data by chunking it into recurring entities, we propose leveraging this principle to interpret artificial neural population activities. Biological and artificial intelligence share the challenge of learning from structured, naturalistic data, and we hypothesize that the cognitive mechanism of chunking can provide insights into artificial systems. We first demonstrate this concept in recurrent neural networks (RNNs) trained on artificial sequences with imposed regularities, observing that their hidden states reflect these patterns, which can be extracted as a dictionary of chunks that influence network responses. Extending this to large language models (LLMs) like LLaMA, we identify similar recurring embedding states corresponding to concepts in the input, with perturbations to these states activating or inhibiting the associated concepts. By exploring methods to extract dictionaries of identifiable chunks across neural embeddings of varying complexity, our findings introduce a new framework for interpreting neural networks, framing their population activity as structured reflections of the data they process.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01