アーカイブ / LLM
推論をいつ止めるか:LearnStopの正答率と途中回答の費用を検証
LearnStop
概要
- LearnStopは推論途中の短い回答から複数の手掛かりを集め、停止時点を決める。
- 著者らのQwen3-32BとGSM8Kの評価では、正解喪失リスクの許容値0.15で、途中回答を含む総トークンが32.5%減った。
- 単一指標の停止則が強い課題もあり、途中回答の生成費用と実行方式が導入判断に影響する。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LearnStopの仕組み
- 01質問と推論途中の文
- 02短い回答を分岐生成
- 03正答確率を推定
- 04停止か推論再開
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LearnStopは、質問ごとに推論の長さを変えるための停止方法である。一律の長さでは、早く答えが定まる質問にも計算を使う。短く切りすぎれば、後の推論で誤りを直す機会を失う。
途中回答の確信度や、回答が変わらなくなったかを見て止める方法はある。ただし、判断に使う途中回答を生成すること自体にも費用がかかる。正解を失うリスクと、この追加費用を含めた処理量を確かめる必要がある。
手法
決められたトークン数に達するたびに推論を一時停止し、その時点までの文から短い回答を生成する。例えば計算問題なら、得られた数値を前の時点の回答と照らす。回答の確信度、候補のばらつき、連続して同じ回答が出た回数、訂正を示す表現の多さなど、その時点までに分かる情報を集める。
学習時には正解付きの問題を使い、各時点の短い回答が正しいかを記録する。LearnStopはロジスティック回帰という、複数の情報から正しい確率を推定する方法を使う。推定値が校正した閾値に達すれば止め、達しなければ推論を再開する。閾値は、最後まで考えれば正解だった問題を早期停止で誤答にする「正解喪失リスク」を基準に選ぶ。
新規性
LearnStopは、推論途中の短い回答から得た確信度、回答の変化、推論文中の訂正を示す表現などを組み合わせ、そこで止めてよいかを推定する。モデル内部の状態を使わず、推論途中までに観測できる情報で判断する点が特徴だ。
論文の主眼は、学習した停止則が有効になる条件を調べることにある。単一の手掛かりによる停止則と比べ、正解を失うリスクや途中回答の費用も評価している。
従来手法との違い
比較対象は、推論トークン数を固定する方式と、確信度、回答のばらつきを表すエントロピー、確信度の急上昇、回答の連続一致を使う停止則である。著者らは共通のチェック時点で各方式を比べた。
Qwen3-32BのGSM8Kでは、LearnStopの最大適応利得が最も強い単一指標の方式を上回った。一方、Qwen3-8BのGSM8Kでは回答の連続一致を使う方式が上回り、MMLU-Proでも単一指標の方式が強かった。優劣は評価課題ごとに異なる。
実験結果
著者らはGSM8K、MATH-500、MMLU-Pro、AIME-90、GPQAを含む18の課題・モデル設定を評価した。Qwen3-32BのGSM8Kでは、同じ平均推論トークン数の固定予算方式に対する最大適応利得が正答率で+15.7ポイントだった。これは結果を見て選んだ最大値である。最も強い単一指標の方式との利得差は+2.8ポイントで、問題単位の再標本化による95%区間は+0.2~+5.3ポイントだった。
同設定で正解喪失リスクの許容値を0.15として閾値を校正すると、著者らが報告したテスト時のリスクは0.040、正答率は0.915だった。最後まで推論する方式と比べ、推論トークンは54.4%、途中回答を含む総トークンは32.5%減った。この総トークン計算は、途中までの計算結果を再利用できる方式を前提とする。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内の文章題に数値で答えるAIで、質問ごとに推論を止める時点を変える。入力は社員の質問、出力は数値回答とする。途中で短い回答を試し、停止条件を満たせば返答し、満たさなければ推論を続ける。
準備するのは、実際の質問、正解ラベル、各質問を最後まで解いた回答と途中回答の記録である。追加のセンサーは想定しない。利用するモデルと質問形式に合わせて停止器と閾値を調整し、この業務でも処理量が減るかを検証する仮説として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象業務の質問と正解ラベルを集め、使用するモデルで最後まで推論した回答と、決めた時点ごとの短い回答を記録する。質問単位で学習用、閾値の校正用、最終評価用に分ける。追加のセンサーは想定しないが、途中回答とその確信度を取得し、元の推論へ戻れる仕組みが要る。
固定の推論予算と、確信度だけで止める方式を比較対象にする。対象データで停止器を学習し、校正用データで閾値を選ぶ。最終評価では正解喪失リスク、正答率、途中回答を含む総トークン数、処理時間を測り、採用する実行方式でも節約が残るか確認する。
限界と課題
著者らは、推論を一時停止し、短い回答を分岐生成して元の推論に戻れる実行方式が必要だと述べる。途中までの文章を毎回送り直す方式では費用が節約分を上回り得る。また、結果を見て選んだ最大適応利得は運用時の改善値を示さない。
編集上の検証事項は、対象業務でも途中回答の変化から停止を判断できるか、校正時と運用時で質問の傾向が保たれるかである。途中回答の生成を含めた総トークン数と処理時間を測り、難しい質問を早く止めて正解を失わないかも確かめたい。
出典
元のタイトル・要旨を確認する(英語)
When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models
Reasoning models spend test-time compute unevenly across instances, and a growing family of early-exit rules -- confidence thresholds, entropy monitors, answer-stability checks, and learned stoppers -- promises to reclaim the waste. These rules, however, are evaluated under heterogeneous protocols that leave the deployment question unanswered: at a fixed tolerance for losing correct answers, which policy saves more compute, and does the saving survive probe overhead? We answer this question with a controlled study across 18 task-model settings spanning GSM8K, MATH-500, MMLU-Pro, AIME-90, and GPQA on Qwen3 and DeepSeek-R1-distilled models, using LearnStop, a hidden-state-free logistic stopper over prefix-observable features, as the learned policy instrument. Under matched lost-correct risk at $α$ = 0.15, with the scalar competitor selected on calibration data from confidence, entropy, confidence-leap, and run-stability exits, the answer forms three regimes. Learned stopping wins on all four primary Qwen3 free-form math settings (+3.2 to +21.2 pp additional total-token saving); calibrated scalar exits win on multiple-choice MMLU-Pro; and small hard benchmarks (AIME-90, GPQA) admit no certifiable aggressive policy at all. A trajectory decomposition predicts the regime: learning pays where answers oscillate and correctness evidence is spread across complementary signals, while a single confidence threshold suffices where most instances are already solved at the first checkpoint. Cost accounting sharpens the picture further -- the same policy that saves 32% of tokens under KV-cache forking costs 121% extra under black-box repeated prefilling. Together, these results replace the single-method race with a decision procedure for choosing a stopping rule from the trajectory structure and serving regime of the target workload.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




