アーカイブ / LLM
文を固定し、得点だけを返すとLLMは内部状態を動かせるか
In-Context Neurofeedback
概要
- 同じ文を出し続けるLLMに内部状態由来の得点を返し、文面から採点対象を推測しにくい条件で制御を調べた。
- 著者らは120検定中45検定で予想方向の有意差を報告したが、効果量は全設定で小さく、結果はモデルやデータセットを通じて一貫しなかった。
- この結果は、先行研究で見られた変化を、文章上の手掛かりによる効果と区別して評価する必要性を示す。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、In-Context Neurofeedbackの仕組み
- 01固定文の指示
- 02同じ文を生成
- 03中間層を採点
- 04得点を返す
- 05同じ文を再生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、LLMが得点を手掛かりに自分の内部状態を変えられるかを調べる。内部状態とは、文を処理する途中で生じる数値の集まりだ。出力文が変わる実験では、内部状態の変化が単に語の選び方によるものか区別しにくい。
この区別は、モデルが自分の状態を把握・調整できるかを評価するうえで重要になる。内部状態の測定を安全対策に使う場合にも、モデルが測定対象を意図的に動かせるかは検討すべき問いだ。
手法
モデルには得点の最大化を指示し、各回で同じ文だけを出させる。生成時に指定した中間層の数値を取り出し、文中の全トークン（処理単位）で平均する。事前にラベル付き文で学習した分類器が、その平均値から「肯定的」などのラベル1に当たる確率を求め、得点に変える。
例えば「その映画は本が原作です」という固定文を出した後、モデルへ得点だけを返し、採点基準は教えない。ラベル1を高く採点する条件、ラベル0を高く採点する条件、無作為な得点を返す条件で試行を重ねる。著者らは分類器の値を追い、各回の得点を返す手順とは別に、モデル自身が文に付けるラベルも尋ねた。
新規性
著者らの提案は、毎回同じ文を出させ、採点対象のラベルを知らせずに、内部状態から計算した数値だけを返す実験設計にある。会話の文面から制御目標を推測しにくくする狙いだ。
さらに、内部状態を判定する分類器の出力と、モデル自身によるラベル回答の両方を測る。得点に応じた変化を、計算途中の値と回答の二つの面から調べられる。
従来手法との違い
Ji-Anらの先行実験では、ラベル付き例文を見せ、指定ラベルに似た新しい文を作らせる。著者らは、例文に共通する語や意味をまねるだけでも、内部状態を判定する分類器の値が変わり得ると指摘する。
本研究は出力文を固定し、二値ラベルの代わりに0～100の得点を複数回返す。評価にもモデル自身のラベル回答を加えた。手順には複数の違いがあるため、先行研究との結果の差を一つの変更だけに帰すことはできない。
実験結果
著者らはLlama-3.1-8B/70B-Instructと、思考モードを使わないQwen3-8B/32Bを評価した。固定文にはSST、ETHICS commonsense、True-Falseの3データセットを使い、各256文を抽出した。ただしTrue-Falseは該当文が245文だった。各セッションは同一文への50回の得点提示で、5層と3種類の得点条件を調べた。
最終回の分類器出力とモデル自身のラベル回答について、著者らは多重検定を補正した120検定中45検定で、予想方向の有意差を報告した。一方、効果量は全設定で分類器出力のCohenのdが0.5未満、自己回答のCohenのhが0.5未満だった。分類器の平均テスト正解率は73.1%、固定文への平均遵守率は93.7%だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：内部状態を取得できる社内向けLLMについて、固定文のまま監視対象の値を動かせるかを評価する。入力は同じ業務文と各回の得点、出力は固定文、分類器の判定値、モデル自身のラベル回答とする。
対象業務の文と正解ラベルを用意して分類器を学習し、モデルの中間層から数値を取得できるようにする。外部の物理センサーは使わない。これは監査方法の応用仮説であり、業務性能の改善や監視回避の実証を目的とした結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず対象モデルの中間層の数値を取得できるか確かめる。対象業務の文と正解ラベルを用意し、一部で分類器を学習して、学習に使わない文で正解率を測る。外部センサーは不要だが、モデル内部へのアクセスが前提となる。
次に同じ固定文を繰り返し出させ、ラベル1を高く採点する条件、ラベル0を高く採点する条件、無作為な得点の基準条件を比べる。固定文の遵守率、分類器の値、モデル自身のラベル回答を記録し、文や対象モデルを替えても条件間の差が続くか確認する。
限界と課題
著者らは、この課題で安定した制御が見られなくても、LLMに内部状態を制御する能力がないとは結論できないと明記する。有意差が出た設定でも効果量は小さく、モデルやデータセットを通じて一貫しなかった。
編集上の検証事項は、固定文を守れなかった回の扱い、分類器の誤判定、別の文や業務領域での再現性である。この実験から、実際の監視を回避できるか、あるいは監視が常に有効かを直接判断することはできない。
出典
元のタイトル・要旨を確認する（英語）
In-Context Neurofeedback: Can LLMs Control Their Internal Representations through Privileged Access?
Whether large language models (LLMs) can control their own internal representations matters for both machine metacognition and AI safety. A recent study applied neurofeedback to LLMs and claimed that they can control their internal representations. However, the reported control may rely on superficial mechanisms rather than genuine internal access because the control targets in that study are not privileged, meaning that a third party can infer them from the prompt. We redesign the neurofeedback paradigm for LLMs so that the control target satisfies the privileged access requirement, which is closer to neurofeedback experiments in human cognitive neuroscience. Under this stricter setting, the models do not demonstrate reliable control over privileged internal representations, suggesting that previously reported control cannot exclude the possibility that it relies on superficial mechanisms. Our results indicate that rigorous assessments of metacognition in LLMs require evaluation methods that demand privileged access.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01