アーカイブ / LLM
推論文に答えが表れる前に、内部状態から最終回答を読めるか
Attention Probing for Chain-of-Thought
Attention Probing for Chain-of-Thoughtの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Early decoding helps us identify performative reasoning, when an LLM knows what it will answer. We study whether a reasoning LLM’s final answer can be decoded given a prefix of its chain of thought up to an intermediate token x x . We use this to identify performative reasoning , where a model internally knows its final answer early on but still generates text as if it does not. (1) Attention Probes: We train attention probes on varying-length activations of text to predict the model’s final answer. At test-time, we use activations up to x x to study when the model internalizes its final answer. (2) Forced Answering: At token x x , we inject a forced answering prompt to obtain its final answer prediction at that point in reasoning. (3) Chain-of-thought Monitor: We provide the chain of thought up to x x to another LLM, which determines whether the reasoning chain contains a potential final answer.
概要
- 注意プローブは推論途中の複数の語の内部状態を重み付けし、モデルの最終的な四択回答を予測する。
- DeepSeek-R1では、MMLU-Reduxで内部状態と推論文の予測に大きな時点差が見られ、GPQA-Diamondではその差が小さかった。
- 著者らは早期終了によって、同程度の正答率で生成トークン数をMMLUで最大80％、GPQA-Diamondで30％削減したと報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Attention Probing for Chain-of-Thoughtの仕組み
- 01四択設問と推論途中
- 02各語の内部状態を取得
- 03注意プローブで集約
- 04選択肢の予測確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
推論モデルは、最終回答の前に段階的な文章を生成する。この文章を使って判断過程を監視するには、書かれた結論や迷いが、モデル内部の状態をどの程度表すかが問題になる。
著者らは、内部状態から最終回答を早く予測できても、文章にはまだ答えが示されない場合を調べた。課題による違いを確かめるとともに、十分な確信が得られた時点で生成を終える方法を検討した。
手法
「活性値」はモデルが計算中に持つ内部状態を指す。著者らは各層の各語の活性値を集め、重要な語に重みを付けてまとめる「注意プローブ」を層ごとに学習した。長さの異なる推論途中の文章を学習に使い、各時点で最終的な選択肢A～Dの予測確率を出す。
例えば科学の四択問題では、推論の途中までから最終回答を予測する。同じ地点で元のモデルに回答を促す「強制回答」と、文章を別のモデルに読ませて答えが示されたか判定する監視方法も使い、三者の推移を比較する。
新規性
著者らは、推論文の各時点で内部状態から最終回答を予測し、文章だけを読む監視モデルの予測と比較した。注意プローブは複数の語の内部状態を重み付けして使い、長い推論文を扱う。
さらに、内部の確信度と、言い直しや気づきが文章に現れる頻度・時点を調べた。答えの早期確定に使えるかも検証している。
従来手法との違い
比較対象は、同じモデルに推論途中で回答を求める「強制回答」と、途中までの文章を別のモデルに読ませる監視方法である。著者らは、従来型の単一の語を見る線形プローブは、この課題ではほぼ偶然の水準だったとも報告する。
DeepSeek-R1のMMLU-Reduxでは、注意プローブと強制回答が監視モデルより早く最終回答を予測した。GPQA-Diamondでは差が小さかったが、GPT-OSSでは同じ傾向の強さまで一括りにできない。
実験結果
著者らは主にDeepSeek-R1-0528 671BとGPT-OSS 120Bを調べた。MMLU-Redux 2.0は誤りの注記を基に5700問から5280問に絞り、GPQA-Diamondは198問を扱う。注意プローブの評価用には、学習から分けたMMLUの528問とGPQA-Diamondの157問を使った。
DeepSeek-R1で、プローブと監視モデルの予測精度の傾きの差はMMLUで0.417、GPQA-Diamondで0.012だったと著者らは報告する。早期終了では同程度の正答率で生成トークン数をそれぞれ最大80％、30％削減したという。確認できた本文の範囲では、この早期終了評価の詳しい条件は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内規程に基づく四択問題で、回答を早く確定できるか試す。入力は規程を基に作った設問と選択肢、出力は選択肢と、確定した時点の記録とする。
正解ラベル、対象モデルの推論途中の内部状態と最終回答を収集し、注意プローブを学習する。未使用の問題で確信度が基準に達した場合に限り生成を止める運用を想定する。規程分野で有効かは別途検証が必要だ。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。社内規程から四択問題と正解ラベルを用意し、対象モデルの通常の最終回答、推論途中の文章、各語の内部状態を記録する。問題を学習用と評価用に分け、学習用で最終回答を予測する注意プローブを作る。
評価用では通常の全量生成を基準に、確信度の基準を変えた早期終了の正答率と生成トークン数を比べる。誤って早く確定した件数も規程分野ごとに数える。対象モデルから必要な内部状態を取得できるか、準備段階で確認する。
限界と課題
著者らは、文章中の言い直しや気づきと内部の確信度変化の前後関係が、モデルや課題で一定しないと報告する。調べる時間幅や確信度の基準によって傾向も変わり、個々の表現を内部変化の直接的な証拠とは扱えない。
編集上の検証事項は、プローブの出す確率が何を表すか、四択以外に適用できるかである。早期終了については、確認できた本文の範囲では詳しい評価条件を確かめられないため、利用先で正答率と削減量を測り直したい。
出典
元のタイトル・要旨を確認する（英語）
Reasoning Theater: Disentangling Model Beliefs from Chain-of-Thought
We provide evidence of performative chain-of-thought (CoT) in reasoning models, where a model becomes strongly confident in its final answer, but continues generating tokens without revealing its internal belief. Our analysis compares activation probing, early forced answering, and a CoT monitor across two large models (DeepSeek-R1 671B & GPT-OSS 120B) and find task difficulty-specific differences: The model's final answer is decodable from activations far earlier in CoT than a monitor is able to say, especially for easy recall-based MMLU questions. We contrast this with genuine reasoning in difficult multihop GPQA-Diamond questions. Despite this, inflection points (e.g., backtracking, 'aha' moments) occur almost exclusively in responses where probes show large belief shifts, suggesting these behaviors track genuine uncertainty rather than learned "reasoning theater." Finally, probe-guided early exit reduces tokens by up to 80% on MMLU and 30% on GPQA-Diamond with similar accuracy, positioning attention probing as an efficient tool for detecting performative reasoning and enabling adaptive computation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01