新着研究 / LLM
途中の説明を無視する回答を抑えるRCD、説明あり・なしの予測差でLLMの最終回答を調整
Rationale Contrastive Decoding
Rationale Contrastive Decodingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Qualitative Evaluation with Qwen3-8B. Top: Given a self-generated rationale supporting answer (A), standard CoT predicts (E), whereas RCD follows the rationale and predicts (A). Bottom: Given an irrelevant rationale randomly sampled from another question, standard CoT produces the correct answer, whereas RCD indicates that the rationale is unrelated to the query. These examples illustrate RCD’s stronger sensitivity to rationale content.
概要
- 質問と説明を入れた予測から質問だけの予測を差し引き、説明で支持が増えた出力を強める。
- Qwen3-8Bでは5つの推論課題で通常のCoTを上回り、正しい説明に従わない回答の一部を修正した。
- 説明への依存を強める仕組みであり、説明自体の正しさや内部推論への忠実さは保証しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Rationale Contrastive Decodingの仕組み
- 01質問と生成済み説明
- 02二条件の出力予測
- 03質問のみの値を減算
- 04最終回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMに途中の考え方を書かせるChain-of-Thought、略してCoTでは、もっともらしい説明と最終回答が食い違うことがある。質問だけから得られる手掛かりを使い、直前に生成した説明を回答に反映しない場合があるためだ。
説明を業務上の確認材料として使うなら、文章が存在することと回答がその内容に依存することを分ける必要がある。研究は追加学習をせず、回答の語を選ぶ段階でこの依存関係を強められるかを調べた。
手法
RCDは、質問と説明を一緒に入れた場合と、質問だけを入れた場合で、次の語の予測値を計算する。語を選ぶ前の値であるロジットについて、説明ありの値を1＋α倍し、説明なしの値のα倍を差し引く。αは説明の影響を強める程度を決める。
例えば説明が選択肢Aを支持していても質問だけではEに偏るとき、説明を加えて支持が増えた語を相対的に選びやすくする。説明の作成と回答生成は分離され、通常のCoTとの比較では同じ説明を使う。既存の文脈対比復号を、外部文書ではなく自分が生成した説明に適用した構成だ。
新規性
新しい説明生成モデルを学ぶのではなく、既存のContext-Aware DecodingをCoTの回答段階に用いた点が主張の中心だ。説明の追加によって変わった予測を取り出し、質問だけの近道を抑える。
著者はこの規則を、元の説明付き予測から離れすぎない制約の下で、説明の寄与を報酬として最大化するものとも解釈する。これは出力分布の理論的な説明であり、説明の内容を検証する工程ではない。
従来手法との違い
基準は通常のCoTと、説明あり・なしのロジットを足す方式である。足し算は両方に共通する予測を強めるため、質問だけの傾向も残しやすい。RCDは差を使い、説明が新たに支えた候補を優先する。
正解の説明と、別の問題から無作為に入れ替えた説明も与えて比較した。正解で改善し、無関係な説明で悪化するかを見ることで、単なる正答率とは別に説明内容への行動上の依存を測っている。
実験結果
著者はGSM8K、MATH、CommonsenseQA、AQuA-RAT、MMLU-Proを評価し、Qwen3-8Bでは全5課題で通常CoTを上回った。MATHの正答率は17.20から27.60、GSM8Kは89.16から89.91となった。αはGSM8Kの学習部分で選んだ1を使用した。
GSM8Kの人手注釈では、正しい説明が付いた1,201例のうち、CoTの誤答33件から10件を修正した。誤った説明118例では110件の誤答を修正しなかったため、誤推論そのものを直す効果とは区別する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、計算手順を伴う社内の見積もり回答を確認する環境で試す。入力は条件と生成済みの計算説明、出力はその説明に沿った最終値とする。説明と結論の食い違いを減らす補助として位置付ける。
計算説明を別途検算する工程を設け、説明が正しい場合に限って回答との整合を重視する。説明を強く反映することと、元の数量条件に正しく従うことを、確認画面でも別の項目として扱う。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、正しい計算説明、途中に誤りを入れた説明、無関係な説明の三種類を小規模に用意する。同じ説明とモデルを固定し、通常のCoTとRCDで最終値の正答率と説明への一致率を測る。
αを変えたときの正答から誤答への変化も数える。回答生成に二条件の予測が必要になるため、処理時間とメモリも測り、説明との整合による利点が運用費用に見合うか判断する。
限界と課題
著者は、説明の差し替えで回答が変わることは、説明が内部の推論過程を忠実に示す証明にはならないと明記する。説明が不正確なら、その誤りを強め、質問だけから得られる有用な情報を抑える可能性もある。
編集上の確認点は、実務の長い回答や不完全な説明でも同じ利点が出るかである。復号時の操作を使える実行環境も必要であり、通常の文章出力だけを返す接続先で再現できるとは限らない。
出典
元のタイトル・要旨を確認する（英語）
Mitigating Query Shortcuts in Chain-of-Thought with Context-Aware Decoding
While Chain-of-Thought (CoT) prompting improves the reasoning performance of large language models (LLMs), recent studies have shown that final answers do not always depend on the generated rationales. In particular, LLMs may rely on query-specific shortcuts rather than the information provided by their reasoning steps. In this paper, we investigate whether context-aware decoding (CAD), an existing contrastive decoding method, can mitigate such shortcut behavior when applied to CoT reasoning. We study this application as Rationale Contrastive Decoding (RCD), which contrasts the next-token distributions conditioned on the query with and without its rationale, amplifying tokens whose likelihood increases due to the rationale. We provide a theoretical interpretation of this decoding rule via a KL-regularized reward-maximization objective. Experiments across five reasoning benchmarks demonstrate that RCD improves answer accuracy over standard CoT. Furthermore, intervention analyses using ground-truth and random rationales reveal that RCD increases the behavioral dependence of final answers on the rationale content. Our findings suggest that contrastive decoding offers a simple, training-free approach to mitigating query shortcuts.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-22