アーカイブ / LLM
数学の解答を途中で評価し、伸ばす候補を選ぶ推論探索
Value-Guided Search
Value-Guided Searchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 16 : Distribution of roll-out length.
概要
- 完成した数学解答の正誤と未完了をラベルに使い、途中の推論から正答へ至る見込みを推定する価値モデルを学習した。
- 生成中は文章ブロックごとに候補を選び、完成後は評価値を加味した多数決で答えを決める。
- 本文の表では1.5B生成器・生成予算256の4大会平均正答率が45.7%、通常の多数決が39.7%。要旨の予算64という記述とは食い違う。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Value-Guided Searchの仕組み
- 01数学の問題文
- 02続きの候補を生成
- 03価値で枝を選択
- 04重み付き多数決
- 05最終解答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VGSは、数学の解答を生成する途中で有望な続きを選び、推論に使う計算を配分する方法である。長い推論文は生成に計算がかかり、同じ考えを繰り返したり、進まない経路に入ったりすることがある。
複数の解答を最後まで作って多数決を取る方法では、各候補の完成まで計算が必要になる。一方、途中を評価する従来の方法には、長い文章を細かな段階に区切り、段階ごとのラベルを集める難しさがある。
手法
学習では、正解を照合できる数学問題の解答を途中で切り、固定した生成モデルで続きを完成させる。完成結果を正答、誤答、長さ制限による未完了に分類し、そのラベルを続きの各トークンに付ける。トークンは文章を処理する小さな単位で、価値モデルは途中までの文章から、同じ生成モデルが続きを書いた場合に正答へ至る見込みを推定する。
利用時は、問題文から複数の続きを文章ブロック単位で生成し、価値モデルで評価して残す枝を選ぶ。これを解答が完成するまで繰り返し、同じ答えに至った完成候補の評価値を合計する重み付き多数決で最終回答を決める。たとえば計算問題で解法の続きが複数出た場合、途中の評価を次に伸ばす候補の選択に使う。
新規性
著者らの主張は、長い推論を人が定義した細かな「一手」に区切らず、完成した解答の結果から途中の文章を評価する価値モデルを学習できる点にある。価値モデルは、続きを生成したときに正答へ至る見込みを推定する。
その評価を解答の完成後だけでなく、生成中の文章ブロックの選択にも使う。さらに、完成した候補は評価値を加味した多数決で集約し、探索と最終回答の選択を組み合わせる。
従来手法との違い
通常の多数決は複数の解答を最後まで生成し、最も多い答えを採る。重み付き多数決は完成した解答の評価値も使い、best-of-Nは評価値が最も高い解答を一つ選ぶ。VGSは生成途中の候補にも評価を挟み、続ける枝を選択する。
既存の工程報酬モデルは、推論を細かな段階に分けて評価する。著者らは同じ数学課題で、そのモデルを探索の評価役にした場合も比較した。学習時に必要なラベルの作り方と、生成時に評価を使う位置が異なる。
実験結果
著者らはAIME 2024・2025とHMMTの2024・2025年2月大会を評価した。各大会30問で、指標は4大会の平均正答率である。本文の表ではDeepSeek-R1-Distill-Qwen-1.5Bを生成器とし、生成予算256でVGSが45.7%、通常の多数決が39.7%、同じ価値モデルによる重み付き多数決が43.2%だった。
同表では7B生成器・予算128でVGSが56.4%、通常の多数決が50.5%と報告する。ただし要旨は、1.5B生成器の45.7%を予算64と記し、表の256と一致しない。数値を利用する際は、この条件の不一致を明示する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：自動テストのある小規模なコード修正で、途中の修正案を選ぶ用途を試す。入力は不具合報告、対象コード、テストとし、出力は修正候補とテスト結果にする。数学以外で有効かは、この論文からは判断できない。
必要な学習データは過去の修正課題と途中の候補、その続きを完成させた候補のテスト成否ラベルである。センサー入力は想定しない。対象コードで候補生成器と価値モデルを適応させ、完成候補をテストで確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自動テストで結果を判定できる小規模な修正課題を集める。学習には不具合報告、対象コード、途中の修正候補とその続き、完成候補のテスト成否ラベルが必要で、センサーは使わない。既存の候補生成器で履歴を作り、完成結果のラベルから対象課題用の価値モデルを学習する。
同じ課題と生成予算で、通常の多数決、完成後の重み付き多数決、途中で枝を選ぶ方法を比べる。テスト通過率、生成量、評価に使う計算量、未完了率を記録する。テスト通過だけで仕様適合を判断できない修正は、人が別途確認する。
限界と課題
著者らは、生成モデルが大きくなると通常の多数決との差が縮むと報告し、価値モデルの学習時と推論文の分布が異なる可能性を挙げる。また、AIME 2024の正答率が他の大会より高いため、過学習やデータ混入の懸念を減らすには新しい複数の大会での評価が重要だと述べる。
編集上の検証事項は、数学以外で完成結果のラベルを安定して作れるか、評価の誤りが探索に与える影響、評価モデル込みの総計算量である。要旨は45.7%を生成予算64に、本文の表は256に結び付けており、条件が食い違う。
出典
元のタイトル・要旨を確認する（英語）
Value-Guided Search for Efficient Chain-of-Thought Reasoning
In this paper, we propose a simple and efficient method for value model training on long-context reasoning traces. Compared to existing process reward models (PRMs), our method does not require a fine-grained notion of "step," which is difficult to define for long-context reasoning models. By collecting a dataset of 2.5 million reasoning traces, we train a 1.5B token-level value model and apply it to DeepSeek models for improved performance with test-time compute scaling. We find that block-wise value-guided search (VGS) with a final weighted majority vote achieves better test-time scaling than standard methods such as majority voting or best-of-n. Moreover, VGS significantly reduces the inference FLOPs required to achieve the same performance of majority voting. Our dataset, model and codebase are open-sourced.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01