アーカイブ / LLM
論理の正誤を内部状態から判別できても、モデルの回答には反映されない
Logical Validity Probing and Causal Tests
Logical Validity Probing and Causal Testsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Exhaustive leave-one-out validity-probe generalization. Left: each semantic domain is held out in turn. Right: each inference family is held out. Domain failures are largely model-specific, whereas syllogistic reasoning is consistently the weakest unseen inference family.
概要
- ５モデルの論理判定の正答率は0.470～0.500だったが、内部状態の判別器はランダム分割で全モデルのAUROCが1.000だった。
- 未知の文章形式にも判別結果は高く転移した一方、未知の三段論法ではAUROCが0.500～0.762に下がった。
- 判別器が示した方向への介入は、調べた条件では回答に小さく一貫しない影響しか与えなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Logical Validity Probing and Causal Testsの仕組み
- 01前提と候補主張
- 02二択回答と内部状態
- 03線形判別
- 04内部状態へ介入
- 05回答得点の変化
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、与えられた前提から候補の主張が導けるかを言語モデルに判定させ、回答と内部状態を照らし合わせる。論理的妥当性とは、主張のもっともらしさではなく、前提と主張の間に成り立つ関係を指す。
規則の確認をモデルに任せる際は、正答率に加え、誤答時にも判断に必要な情報を内部状態から読み取れるかが気になる。ただし、情報を読み取れることと、モデルが回答にその情報を使うことは別々に確かめる必要がある。
手法
著者らは同じ前提に対し、導ける主張と導けない主張を一組にした。例えば「AはBに含まれ、BはCに含まれる」という前提で候補主張だけを変えれば、前提の語を共通にしたまま妥当性を比べられる。５種類の推論形式、５種類の意味領域、３段階の難しさを用い、モデルにはVALIDかINVALIDかを選ばせた。
次に、各層で入力の最後のトークンの内部状態を取り出し、線形プローブという単純な判別器で正解ラベルを予測した。未知の文章形式、意味領域、推論形式でも判別できるかを調べ、判別器が示す方向に内部状態を動かして回答得点の差も測った。介入の効果は、同じ強さのランダムな方向への操作と比較した。
新規性
著者らは、前提を共通にして候補主張だけを変えた妥当・不当の対を使い、最終回答、内部状態からの判別、内部状態を操作した際の回答の変化を別々に調べた。これにより、同じ文脈の中で論理的妥当性を区別できるかを測っている。
未知の文章形式、意味領域、推論形式への転移に加え、誤答した例でも判別できるかを検証した。内部から読み取れる情報が、回答を動かす情報でもあるかを介入実験で確かめた点が特徴である。
従来手法との違い
最終回答の正答率に加え、文章中の語の出現傾向を使うTF–IDF分類器と内部状態の判別器を比較した。ランダム分割では全文TF–IDFもAUROC 0.970に達するため、この条件で内部状態を高精度に判別できるだけでは、語の手掛かりを超えた表現とは言えない。
全文TF–IDFは未知の文章形式で0.855、未知の意味領域で0.814だった。内部状態の判別器は多くの条件で高かったが、Mistral-7Bの意味領域分割は0.771であり、一律に優れるわけではない。
実験結果
著者らは妥当・不当を各400件含む800例を５モデルで評価した。二択回答の正答率は0.470～0.500で、回答ラベルへの偏りも見られた。一方、内部状態の判別器はランダム分割で全モデルのAUROCが1.000、未知の文章形式では0.963～0.999だった。AUROCは、妥当例を不当例より高く評価できる度合いを示す。
未知の三段論法を評価に回すと、判別器のAUROCはモデルごとに0.500～0.762へ下がった。３モデルの介入実験では、指定された強さの一条件で二択回答の変更は0％、回答得点の変化はランダム方向の操作と同程度以下だったと著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の承認規程を題材に、規程から抜き出した前提と「この申請には部長の承認が必要」などの候補判断を入力する。出力はモデルの二択判定と、人手で確定した正解との食い違い一覧とし、導入前の確認に使う。
対象規程から、前提を共通にして候補判断だけを変えた妥当・不当の対と正解ラベルを作る必要がある。センサーは不要だが、内部状態を調べるには取得可能なモデルが要る。規程特有の語や推論形式に合わせて判別器を学習し直し、その成績を回答精度と分けて扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の規則から、前提を共通にして候補判断だけを変えた妥当・不当の対を少数作る。担当者が正解ラベルを確認し、文章形式や推論形式を分けて学習用と評価用に割り当てる。入力は文章なのでセンサーは不要で、内部状態を調べる段階では取得可能なモデルを使う。
まずモデルの二択回答を基準として、正答率と回答ラベルの偏りを測る。次に対象規則に合わせて判別器を学習し、未知の文章形式でのAUROCと、同じ前提を持つ対の順位を確認する。調整後も判別成績と最終回答の成績を別々に記録する。
限界と課題
著者らは、統制された合成データのため自然な長文や自由形式の課題に結果を直接広げにくく、扱った推論形式と意味領域も限られると述べる。分析は最後の入力トークンの内部状態と線形判別器を中心とし、対象モデルは比較的小規模で量子化されている。
編集上の検証事項は、実際の業務文書でも正解付きの対を作れるか、語の手掛かりが変わっても判別成績が保たれるかである。介入の弱い効果は、調べた方向と位置についての結果に限られる。妥当性に関する情報が判断に一切使われないことまでは示さない。
出典
元のタイトル・要旨を確認する（英語）
When Decodability Is Not Enough: Logical Validity Representations, Behavioral Dissociation, and Causal Tests in Language Models
Large language models can look capable of logical reasoning, but correct or incorrect answers alone tell us little about what the model represents internally. We study logical verification in five open-weight transformer models using matched valid--invalid premise--claim pairs that vary across inference families, semantic domains, templates, and difficulty levels. Despite near-chance behavioral performance, logical validity is often almost perfectly decodable from hidden states and remains strongly decodable under held-out templates, domains, and inference families. Validity also remains highly decodable on behaviorally incorrect examples in the conditions where correctness-conditioned evaluation is well defined. At the same time, exhaustive leave-one-out tests reveal clear limits to this generalization, and interventions along probe-derived validity directions have only weak, nonspecific effects compared with random controls. Our results suggest that representing validity, expressing it in behavior, and using it causally are distinct. Validity related information can be strongly decodable from a model's hidden states without being reliably expressed in its output.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01