アーカイブ / LLM
推論の長さを確信度で調整するCAT：3モデル・3課題で正答率と応答長を比較
Confidence-Adaptive Thinking (CAT)
Confidence-Adaptive Thinking (CAT)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the CAT framework.
概要
- CATは、回答の正誤と長さに加え、モデルの予測分布から求める自己確信度を使って推論量を調整する。
- 著者らのR1-7BによるAIME 2024評価では、元モデル比で正答率は53.3％から58.9％、平均応答長は12831から9880トークンになった。
- 学習用の選好ペア作成には正答判定が必要であり、正誤を確かめにくい業務への適用は別途検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Confidence-Adaptive Thinking (CAT)の仕組み
- 01問題文
- 02複数の推論を生成
- 03正誤・長さ・確信度
- 04選好ペアを選別
- 05推論と最終回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CATは、大規模推論モデルが問題に応じて推論文の長さを変えるための学習手法である。推論文は、最終回答に至るまでにモデルが生成する考察を指す。簡単な問題でも確認を繰り返すと、出力単位であるトークンが増え、回答に時間がかかる。
一方、すべての問題で推論を一律に短くすると、難問に必要な検討まで削るおそれがある。実務利用では、正答率と応答長を同時に確かめる必要がある。
手法
CATは学習時に一つの問題から複数の推論を生成し、各推論の正誤、長さ、自己確信度を調べる。自己確信度は、各位置で次のトークンを予測する確率分布が、全候補を同じ確率とする分布からどれほど離れるかを平均した値である。正答同士では短い推論、誤答同士では長い推論を優先し、長さと確信度の差を使って学習用の組を選ぶ。
次に、同じ問題への二つの推論から望ましい方を出しやすくする「選好学習」を行う。CATは組の種類に応じ、確信度と長さから学習の重みを調整する。例えば、短い正答を促す一方、短く確信度の高い誤答は抑える。学習後のモデルは問題文を受け取り、推論と最終回答を生成する。
新規性
CATは、モデルの次のトークンの予測分布から得る自己確信度を、学習用の回答ペアの選別と、学習時の重み付けの両方に使う。同じ問題への複数の推論を比べ、長さと確信度の差を学習に反映する点が特徴である。
ただし、ペアの作成には回答の正誤判定も使う。自己確信度だけで正解を判定したり、正答情報を使わずに学習したりする方法ではない。
従来手法との違い
比較対象は学習前の元モデルと、OverThink、DAST、ConCISEである。著者らの表では、CATの正答率は3種類の元モデルと3課題の全9条件で、掲載された各比較手法を上回った。比較は、この実験条件に限られる。
応答が常に最短になるわけではない。R1-7BのMATH-500では、CATの平均応答長は2431トークン、ConCISEは2187トークンだった。CATの結果は、長さだけでなく正答率と併せて読む必要がある。
実験結果
著者らはMATHの学習用問題から2000問を選び、各問で20の候補回答を生成した。R1-1.5B、R1-7B、Qwen3-8Bを使い、MATH-500、AIME 2024、GPQAで正答率と平均応答長を評価した。掲載値は3回の実験の平均である。
R1-7BのAIME 2024では、元モデルの正答率53.3％、平均応答長12831トークンに対し、CATは58.9％、9880トークンだった。同条件のDASTは56.7％、10804トークンである。これらは掲載されたモデルと課題での結果であり、社内の問題で同じ効果が出ることは示していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内研修の計算問題に答える支援ツールを試す。問題文を入力し、計算過程と最終回答を出力する。学習用には、同分野の問題文、確認済みの正答ラベル、各問に対する複数の推論例を用意する。
適応時には、各推論例の長さとモデルの予測分布を取得して選好ペアを作る。入力を文章に限るため画像・音声センサーは使わない。社内問題でも正答率を保ちながら応答を短くできるかは、別途確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答を確認できる社内研修の計算問題を集め、学習用と評価用に分ける。問題文と正答ラベルを整え、各問から複数の推論例を作る。予測分布を取得できるモデルで確信度を計算し、CATの手順で選好ペアを作って適応させる。画像・音声センサーは使わない。
元モデルを基準に、評価用問題の正答率、平均応答長、回答までの時間を同じ条件で比べる。難問での正答率と、短く確信度の高い誤答の件数も確認する。許容する誤答率と待ち時間は、試験前に決めておく。
限界と課題
著者らは、推論全体の自己確信度を一つの値にまとめるため、特定の推論段階での迷いを見落とし得ると述べる。評価は正誤を確かめやすいSTEM分野が中心で、学習には事前生成した固定の推論例を使う。
編集上の検証事項は、対象業務で正答判定を安定して行えるか、確信度の高い誤答が増えないかである。応答長の短縮が実際の待ち時間や運用費にどれだけ影響するかも、利用環境で測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
CAT: Confidence-Adaptive Thinking for Efficient Reasoning of Large Reasoning Models
Large Reasoning Models (LRMs) have achieved remarkable success on complex tasks by leveraging long chain-of-thought (CoT) trajectories, yet they frequently exhibit overthinking on simple queries, resulting in significant token overhead and reduced inference efficiency. However, existing compression methods predominantly apply uniform length reduction or rely on coarse-grained difficulty estimation, often leading to performance degradation on difficult problems. To address this limitation, we propose Confidence-Adaptive Thinking (CAT), a framework that incorporates the model's intrinsic self-certainty signals as confidence into the preference optimization process, which autonomously modulates reasoning lengths based on problem difficulty. Experimental results show that CAT consistently outperforms state-of-the-art baselines on reasoning accuracy across multiple benchmarks on different base models. Our work enables LRMs to effectively compress confident responses while deliberating on uncertain ones, offering a potentially robust solution for balancing accuracy and latency in practical industrial scenarios.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01