アーカイブ / LLM
LLMの推論を一段階ずつ採点し、候補選択と修正を組み合わせる手法
Step-level Verifier-guided Hybrid Test-Time Scaling
Step-level Verifier-guided Hybrid Test-Time Scalingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Left : The two mainstream paradigms of training-free TTS, parallel and sequential scaling. Right : Our proposed Step-level Verifier-guided Hybrid Test-Time Scaling, which incorporates representative methods from both paradigms. Specifically, it performs “deep scaling” on each reasoning step within an MCTS framework through a two-stage screening process: (1) Multiple candidates are generated via Best-of-N sampling and the best step is selected using the PUCT algorithm. (2) This candidate undergoes a PRM-guided conditional self-refinement to produce the final best step, completing the “best-of-the-best” selection cycle.
概要
- 推論の各段階で複数候補を作り、採点結果に応じて候補を選択・修正する。
- 著者らはMATH500のLLaMA3.1-8B-Instructで、追加探索なしの47.2%に対し、8候補条件のRM@8で71.4%を報告した。
- 業務への適用には、対象の式や単位に対する段階採点の正確さと、処理時間の検証が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Step-level Verifier-guided Hybrid Test-Time Scalingの仕組み
- 01問題文
- 02段階候補を生成
- 03採点して候補選択
- 04条件付き修正
- 05完成した解答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデル（LLM）が複数の段階を経て問題を解くとき、早い段階の誤りが後続の計算や最終回答に影響し得る。推論時に候補を増やせば別の解き方を探せるが、生成する量も増える。
著者らが扱うのは、モデルを追加学習せず、解答中のどの段階に推論時の計算を使うかという問題だ。段階を採点してから次へ進み、点数の低い段階だけを修正対象にする設計を検討した。
手法
問題文から次の推論段階を複数生成する。工程報酬モデル（PRM）は、問題文とそれまでの推論を踏まえ、各候補に0から1の点数を付ける採点器だ。候補の点数、LLMが候補に与えた確率、探索中に選ばれた回数を使って進む候補を決める。この分岐をたどる処理を「木探索」と呼ぶ。
選んだ段階の点数が設定値より低いときだけ、LLMにその段階を振り返って書き直させる。例えば数量計算で式を作った段階なら、修正した式を再び採点し、元より高得点の場合だけ採用する。その段階を次の入力に加えて解答まで繰り返す。目標点に達した場合、改善が止まった場合、または反復回数の上限に達した場合は修正を止める。
新規性
著者らが提案するのは、解答全体ではなく推論の各段階で、複数候補からの選択と条件付きの自己修正を組み合わせる方法だ。次の段階を生成する前に採点し、修正版の点数が元の段階を上回る場合だけ採用する。
段階ごとの採点結果を木探索にも使い、候補を増やす処理と書き直す処理を同じ探索過程に収めた。著者らは、追加学習を伴わない推論時の手法として提示している。
従来手法との違い
比較対象には、複数の完成解答から選ぶ並列方式、完成解答を繰り返し直す方式がある。本手法は解答を段階に分け、次の段階へ進む前に候補を採点するため、確認と修正を挟む位置が異なる。
著者らは、木探索・複数候補生成・段階ごとの修正の二つずつを組み合わせた方式や、解答全体を単位とする混合方式も比較対象にした。確認できた本文の範囲では、これら個別方式の比較表の数値までは確認できない。
実験結果
著者らは指示調整済みの5モデルを、MATH500、AIME24、GPQA Diamondで評価した。採点器はQwen2.5-Math-PRM-7Bで、各実験は一回実施した。Maj@kはk個の回答の多数決、RM@kは採点器で選んだ回答、Pass@kはk個のうち一つでも正解した割合を表す。
著者らの表では、MATH500のLLaMA3.1-8B-Instructは追加探索なしで47.2%、各段階で8候補を生成した条件のRM@8で71.4%、16候補条件のPass@16で75.8%だった。Pass@16は候補中に正解があるかを測る値であり、選択した一つの最終回答の正答率とは区別が必要だ。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設工事の社内研修で、資材数量の計算問題を解く補助に試す。問題文と計算条件を入力し、式の設定、数量の計算、最終回答を段階ごとに出力させる。研修担当者が途中式と単位を確認できるよう、選ばれた段階と採点結果も記録する。
追加の学習用データや学習用ラベル、センサー入力は使わず、評価には正答と途中式を人が確認した社内問題が必要だ。数学向け採点器を社内の表記や単位に適用できるかは、この用途で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正答と途中式を人が確認した社内の数量計算問題を集め、同じ問題を通常の一回回答と本手法に入力する。追加の学習用データ、学習用ラベル、センサーは使わない。評価用には正答ラベルと途中式を整備し、既存の指示調整済みLLMと段階採点器を用意する。
問題文に合わせて段階の区切り方と回答形式を調整し、採点器が選んだ途中式を担当者が点検する。最終回答の正答率、単位の誤り、生成と採点の所要時間、人による確認時間を一回回答と比べる。採点器の高得点が正しい途中式と一致するかも測る。
限界と課題
著者らは、段階で生成を止めて再開する制御には、指示に従って推論できるモデルが必要だと述べる。実験には指示調整済みの30億～140億パラメータのモデルを用い、各実験は一回実施しているため、試行間のばらつきは示されていない。
編集上の検証事項は、数学向けの採点器が対象業務の式や単位を正しく評価できるか、候補生成と採点に要する時間が実務に収まるかである。提示されたベンチマークの成績だけでは、業務上の誤回答率や人による確認時間は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Step-level Verifier-guided Hybrid Test-Time Scaling for Large Language Models
Test-Time Scaling (TTS) is a promising approach to progressively elicit the model's intelligence during inference. Recently, training-based TTS methods, such as continued reinforcement learning (RL), have further surged in popularity, while training-free TTS methods are gradually fading from prominence. However, the additional computation overhead of training amplifies the burden on test-time scaling. In this paper, we focus on training-free TTS methods for reasoning. We first design Conditional Step-level Self-refinement, a fine-grained sequential scaling method guided by process verification. On top of its effectiveness, we further combine it with other classical parallel scaling methods at the step level, to introduce a novel inference paradigm called Hybrid Test-Time Scaling. Extensive experiments on five instruction-tuned LLMs across different scales (3B-14B) and families demonstrate that hybrid strategy incorporating various training-free TTS methods at a fine granularity has considerable potential for expanding the reasoning performance boundaries of LLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01