アーカイブ / LLM
三択の回答が一つに偏るLLMで、候補の点数から正答の手掛かりを回復する
Prior-conditioned additive offset correction
Prior-conditioned additive offset correctionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Diagnosing collapsed candidate-answer scores. Raw candidate-answer string scores can select the wrong label even when a linear probe decodes the gold label from a hidden state. We apply a prior-conditioned additive offset ( s y ( x ) ↦ s y ( x ) + b y s_{y}(x)\mapsto s_{y}(x)+b_{y} ) as a diagnostic intervention; held-out rescue and permutation controls test whether the correction exposes example-specific structure.
概要
- 正解ラベルなしの同形式データと想定する回答比率から、三択の候補点数に足す二つの補正値を決める。
- 著者らの統制した論理問題の語彙変更条件では、Qwen3.5-4Bの正答率が0.333から0.570、9Bが0.333から0.602になった。
- 効果はモデルや条件で異なる。導入前に、独立した正解付き事例で生の採点と補正後を比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Prior-conditioned additive offset correctionの仕組み
- 01三択の質問と候補
- 02候補文字列を採点
- 03無正解例で補正値決定
- 04補正後の回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、LLMの三択回答が一つの候補に偏ったとき、他の候補の点数に正答を選ぶ手掛かりが残っているかを調べる。最終回答が誤りでも、問題の情報を表せていないのか、回答文字列の採点で選択を誤ったのかは、それだけでは分からない。
この区別は評価結果の読み方に関わる。例えば「不明」ばかり選ぶモデルでも、質問ごとに変わる候補間の点数差が残っていれば、回答の選び方を調べる余地がある。
手法
質問の末尾に回答欄を置き、三つの固定した回答文字列それぞれについて、モデルが付ける対数確率を文字列全体で合計する。対数確率は回答の選ばれやすさを点数にしたもので、通常は最大点の候補を選ぶ。例えば「真・偽・不明」で生の点数が「不明」を選ぶ問題について、補正後に別の候補が最大になるかを見る。
同じ形式の正解ラベルなし質問から候補の点数を集め、想定する三択の回答比率に予測件数が近づくよう、回答別の一定値を探す。一つの値をゼロに固定できるため、自由に決める値は二つである。値を固定して別の問題の点数に足し、最大点の候補を出力する。著者らは別途、隠れ状態から正答を読めるかも診断した。
新規性
著者らは、正解ラベルを使わず、回答候補ごとの点数に共通の補正値を足す診断法を示した。三択で調整する値は二つだけで、モデル本体は更新しない。
補正後の正答率だけでなく、個々の問題で正誤がどう変わったかも調べる。同じ回答件数を保って予測を並べ替える対照実験により、回答比率を合わせただけでは説明できない改善かを検証した。
従来手法との違い
基準は、モデルが固定した回答文字列それぞれに付ける生の点数である。著者らは、回答欄直前の隠れ状態も線形プローブで調べた。隠れ状態はモデル内部の数値表現、線形プローブは正解付き事例で学習して答えを読み取る判別器を指す。
補正法は生の点数を使い、回答ごとに一定値を足す。プローブより制約の強い方法だが、プローブで正答を読めてもモデル自身の候補採点がその情報を使えているとは限らないため、両者を分けて比較する。
実験結果
著者らは統制した論理問題、ProofWriter、ANLI、FOLIOを調べた。統制問題の語彙を変えた1,000件では、別の正解ラベルなし1,000件で補正値を決め、Qwen3.5-4Bの正答率が0.333から0.570、9Bが0.333から0.602になったと報告する。
FOLIOでは検証用203件で値を決め、別の1,001件で4Bの正答率が0.335から0.565になった。ProofWriterでは、単語の重なりを手掛かりにする分類器が誤った事例でも補正後の回答を調べ、回答件数を保つ並べ替えとの比較も行った。数値の一致しない表があるため、ここではその値を採用しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程の三択判定に試す。規程の該当箇所と質問を入力し、回答文字列を「該当・非該当・不明」に固定して、各候補の点数から一つを出力する。
対象業務と同じ形式の正解ラベルなし質問と、想定する三択の回答比率を校正に使う。元モデルの追加学習用データやセンサーは不要だが、効果を確かめるには別の判定事例に人手の正解ラベルが要る。回答形式や規程の例外に合わせた適応は、この業務で検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：回答文字列を固定した三択質問を作り、対象業務から正解ラベルなしの校正用質問と、別に人手で正解を付けた評価用質問を集める。元モデルの追加学習用データやセンサーは使わない。想定する回答比率を定め、規程の言い換えや例外も評価用に含める。
生の候補文字列の点数を基準とし、校正用だけで補正値を決めて評価用に適用する。正答率、回答ごとの選択件数、補正で正誤が入れ替わった件数を比べる。質問書式や想定比率を変えた場合も測り、対象業務への適応が必要か判断する。
限界と課題
著者らが報告した効果は条件によって異なる。ANLI R2のQwen3.5-9Bでは生の採点が比較的強く、25件で補正値を決めた試行の多くは改善しない。想定する回答比率を変えた条件では、Pythia-12Bが悪化した例もある。
編集上の検証事項は、対象データの回答比率を妥当に設定できるか、書式を変えても補正値が使えるかである。確認できた本文の範囲ではProofWriterとANLIの表の一部で数値が一致しないため、その値を使う前に原表と集計条件を照合する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores
When a large language model fails a reasoning task, it is often assumed to lack the underlying capability. However, this conflates a genuine absence of reasoning with a late-stage output bottleneck. We observe a consistent readout gap across diverse reasoning benchmarks: hidden-state probes successfully decode correct answers even when native sequence scoring completely collapses due to structural biases. To test whether instance-specific logic survives this collapse, we introduce a diagnostic protocol using a minimal, target-label-free additive correction. Fitting just two parameters on as few as 25 unlabeled examples recovers 9--34 accuracy points for Qwen3.5 models, transferring successfully to OLMo-2-1B and Llama-3.1-8B. Crucially, these recovered decisions persist on hard instances unresolved by simple lexical overlap and significantly exceed count-preserving permutation baselines. Our results show that many apparent zero-shot reasoning deficits are expression failures masking intact internal logic, urging a narrower interpretation of benchmark evaluations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01