アーカイブ / LLM
LLM内部の「調査」をどう検出するか：文例で学ぶ線形検出器
Concept Delineation and Linear Probes
概要
- 概念の有無が異なる文例対を作り、対象LLMの各層の内部表現から線形検出器を学習する。
- 著者らの評価では、Llama-3-8B第32層の「野心」検出器は40パラメータで正解率84％、4,096パラメータで92％だった。
- 長文で検出値の変化を示したが、生成文例での正解率が未知の業務文にも当てはまるかは別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Concept Delineation and Linear Probesの仕組み
- 01概念別の正負文例
- 02各層の内部表現
- 03線形検出器の学習
- 04語ごとの検出値
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、LLMの内部表現から「野心」「調査」など指定した概念の有無を読み取る方法を試す。内部表現とは、入力を処理する途中でモデルが作る数値の並びである。回答文だけでは、入力が伸びる間に検出値がどう動いたかを追えない。
対象概念は野心、調査、民主主義、嫉妬の四つ。著者らは、多くの概念を通常の動作中に監視するための初期手順として、文例作成、検出器の学習、長文での追跡を検討した。
手法
まず概念の特徴を定義し、概念と無関係な英文の型に沿って、概念がある文とない文を対で生成する。同じLLMを生成と判定に使い、判定用の指示は人手でラベル付けした文例を使って調整する。反対のラベルが付いた対だけを残し、文の形からラベルを推測できる偏りを抑える。
各文を対象LLMに入力し、各層の最後のトークン、または全トークンの平均から内部表現を得る。線形検出器とは、その数値に重みを掛けて足し合わせ、概念の有無を判定する小さな分類器である。たとえば「調査」の検出器を長い文に使う際は、語を追加するごとの表現に適用し、値の推移を見る。
新規性
著者らが提案するのは、検出したい概念を先に定義し、その有無を示す文例集を作ってから、対象LLMの内部表現に検出器を学習させる手順である。同じ概念の文例集を別モデルにも使える。
さらに、検出器の入力を圧縮して必要なパラメータ数を調べ、短い文例で学習した検出器を長い物語にも適用した。語ごとの値の変化を観察する方法であり、その概念が出力を引き起こしたとの実証ではない。
従来手法との違い
比較対象として著者らが挙げる疎なオートエンコーダー（SAE）は、内部表現を少数の活性要素で再構成し、多数の特徴を見つける方法である。検出する概念は学習後に特定するため、事前指定やモデル間での対応づけが難しいと説明する。提案法は概念ごとの文例集を先に作り、モデルごとに検出器を学習する。
LLMへ概念を直接尋ねる既存法は、検出のたびに別の呼び出しを要する。著者らは連続監視への適性を論じるが、確認できた本文の範囲では、これらの方法との処理時間や費用の直接比較値は示されていない。
実験結果
著者らは野心11,854件、調査8,296件、民主主義10,270件、嫉妬15,350件の文例を作り、訓練・検証・テストを70％・10％・20％に分けた。評価対象はLlama-3-8B、Gemma-2の2B・9B、Qwen2.5の0.5B・1.5B・3B・7Bの計七モデルである。
著者らの表では、Llama-3-8Bの第32層の最後のトークン表現を使う「野心」検出器は、40パラメータで正解率84％、4,096パラメータで92％だった。長文では各概念につき50本の物語を使い、接続文付近で検出値が上がる傾向を報告した。語単位の正解率は確認できた本文の範囲に示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の調査支援LLMで、質問の読み込み中に「調査」概念の検出値がどう変わるかを開発者向け画面に表示する。入力は質問文、出力は語を追加した時点ごとの検出値と人が確認できる記録とする。検出値だけで回答の良否は決めない。
学習には、社内の質問に近い文体で「調査」がある例とない例を集め、定義に沿った人手ラベルを付ける必要がある。対象モデルの各層の内部表現を取得し、業務上の意味に合わせて文例と検出器を作り直す。外部センサーは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず社内業務での「調査」の定義を決め、実際の質問に近い正例・負例を人手でラベル付けする。対象LLMの各層の内部表現を取得し、文例を訓練用と未使用の評価用に分けて検出器を学習する。必要な入力は文章とラベルで、外部センサーは使わない。
未使用の業務文では、人手ラベルに対する正解率と誤判定件数を測る。比較基準として、同じ文章をLLMに直接判定させる方法と現行の人手確認手順も試し、確認時間を記録する。業務用語や曖昧な文で誤りが集中すれば、概念定義と文例を見直して再評価する。
限界と課題
著者らは、同じLLMとプロンプトで文例を生成したため、文例の分布が似通う可能性を挙げる。訓練・検証・テストはその生成データから分けており、テスト正解率が真に未知の文章への汎化を十分に表さないおそれがある。概念ごとの人手注釈も、現行手順では必要だとしている。
編集上の検証事項は、業務文や長い会話、意味が曖昧な文でラベルと検出値が合うかである。物語では文単位のラベルと語ごとの値を照合しているため、運用時の語単位の誤判定は別に測りたい。内部表現の検出値をモデルの思考や因果関係の確定的な証拠として扱わない。
出典
元のタイトル・要旨を確認する（英語）
What are They Thinking? Delineation, Probing, and Tracking of Concepts in LLMs
As the influence of LLMs expands, it is imperative to gain insight into their decisions. One way to do that is to develop probes that detect the presence or absence of a broad set of high-level abstract concepts within the embeddings computed in an LLM - which is what we might say a model is ``thinking" about. Such probes should be low-cost and easily applicable to any LLM, so that monitoring for many concepts is possible during normal operation. In this paper, we take the first steps towards developing the capability of creating many such probes by defining and executing examples of the key tasks needed: first, the careful delineation of a high-level abstract concept through the creation of a dataset with the concept both present and then absent. Then, the training and testing of a set of linear probes to detect the concept on any layer of an LLM, including an exploration of the complexity of the probe needed. Finally, we show that such probes can track concepts across larger contexts. This is done with four separate concepts and three different LLMs. When this process is scaled to many more concepts, it will create the ability to monitor new models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01