新着研究 / LLM
良さと多様さを別々に選ばないPKTP、推論候補群の「一つは正解」を直接狙う
PKTP
概要
- 部分推論の品質と、似た候補が一緒に失敗する関係から残す集合を選ぶ。
- 八モデルの数学課題で評価し、中程度の保持数で利点が大きいと報告。
- pass@kの改善と最終的に正しい一案を選べること、総費用の削減は別に確かめる。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PKTPの仕組み
- 01複数の途中推論
- 02内部表現を集約
- 03品質と共失敗を推定
- 04続ける候補集合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
推論モデルで多くの解答候補を作れば、少なくとも一つが正解する確率を上げられる。しかし全てを最後まで生成すると費用が大きいため、途中まで読んで残す候補を選ぶ方法が使われる。
正しそうな候補だけを残すと似た失敗が重なり、多様性だけを優先すると見込みの薄い候補へ計算を使う。本研究は候補を一つずつ採点する問題から、残す集合に一つでも正解が含まれる確率を高める問題へ捉え直している。
手法
各候補を一定トークンまで生成し、その間の内部状態を指数移動平均で一つのベクトルにまとめる。そこから個々の正しさだけでなく、似た候補が一緒に成功・失敗する関係を、潜在的なガウス変数を持つモデルとして学ぶ。
候補をk個残して少なくとも一つ正解するpass@kを直接最大化したいが、そのままの計算は難しいため二次近似を使う。候補を一つずつ追加する貪欲な手順で集合を選ぶ。例えば高得点でも既存候補と似た案を加えるより、ある程度有望で異なる案を残す。学習はkごとにやり直さず、実行時の計算予算で残す数を変えられる。
新規性
品質の得点と多様性の得点を後から混ぜるのでなく、集合の成功確率という目的から両者を結び付ける。候補が似ていると失敗も共通しやすいという依存関係を、明示的にモデルへ含めている。
近似目的が、追加する候補の利得が小さくなる劣モジュラ性を持つことを示し、選択を軽くする。同じ選択順から異なる大きさの集合を得られるため、予算に応じた使い分けを一つの枠組みにできる。
従来手法との違い
品質を線形プローブで予測して上位から残す方法、表現が異なる候補を選ぶRepExp、ランダム選別を比較する。品質のみの選別では、上位が同じ種類の誤答へ固まる例を示す。
PKTPは少数を残す場合には品質を強く使い、集合が増えるにつれて重複への負担が増す構成である。多様性を持たせると常に正答が増えるという主張ではなく、残す数や品質差によって適した選択が変わる。
実験結果
公開重みの八つの推論モデルと複数の数学ベンチマークを使い、主設定では128候補を4000トークンまで観察し、1、2、4、8、16候補を残す。全文の上限は3万2768トークンで、八分割交差検証を20回繰り返した。
著者らは品質重視と多様性重視の基準を上回り、中程度の保持数で改善が大きいと報告する。ただし128回全正解または全不正解の問題は除外され、最終答えの照合にもLLM判定を使う。対象問題の条件を含めた性能である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、数学的な検討を複数案で進める社内ツールの推論費用調整が考えられる。問いと途中推論の内部状態を入力し、続行する候補群を出力して、最後に独立の検証器へ渡す。
単に上位一案を信じるのでなく、異なる有望案を計算予算内で残す用途になる。ただしpass@kは候補中に正解があるかの指標で、最終利用者へ正しい一案を選んで返せるかは別工程として設計する必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、内部状態を取得できるモデルと正解を照合できる課題を用意する。同じ候補群、途中長、保持数で、ランダム、品質順、多様性順、PKTPを比較する。
候補中に正解が残る率だけでなく、全候補を途中まで生成する費用と選別計算も含めた総時間を測る。さらに最終の解答選択まで実行し、利用者へ返す正答率と費用がどう変わるかを確認して、集合指標だけの改善に留めない。
限界と課題
近似は候補の同時分布に仮定を置き、表現の類似が実際の共通失敗を表す度合いに依存する。学習した選別が別のモデルや異なる種類の課題へそのまま移るとは限らない。
編集上は内部状態を取れないAPIでの実装可能性や、数学以外で正誤ラベルを作る費用を確認したい。評価から除いた全正解・全不正解の問題を含む実際の質問分布でも、同じ費用対効果が得られるかを別に測る必要がある。
出典
元のタイトル・要旨を確認する(英語)
Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
Test-time scaling has emerged as a key inference strategy for reasoning models, where a model generates a large number of candidate solutions in the hope of finding at least one correct solution. Running all candidate solutions to completion can be computationally demanding, so recent work prunes the candidate pool after generating only a short prefix, committing further computation only to the surviving candidates. Existing pruning strategies divide broadly into two categories: Quality-based methods assign a score to each partial solution and discard those predicted to ultimately lead to an incorrect final solution, while diversity-based methods select partial solutions that follow different reasoning trajectories and are therefore likely to cover different final solutions. The tension between these two objectives is an instance of exploration versus exploitation, yet little to no prior work on pruning exposes this trade-off directly, let alone optimizes it. In this paper, we introduce a pruning procedure that addresses this trade-off directly by optimizing pass@$k$ over the selected solution pool. In particular, it chooses the pool to maximize the probability that at least one of its partial solutions, when continued to completion, yields a correct answer. Because this objective simultaneously rewards high-quality partial solutions and penalizes redundancy among them, quality and diversity are naturally balanced by the criterion itself rather than through separate ad-hoc design choices. On eight open-weight reasoning models, our method outperforms existing quality-based and diversity-based pruning strategies. The gains are particularly pronounced when the pruning procedure keeps a moderate number of partial solutions for continued generation, highlighting the value of directly balancing quality and diversity during pruning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-24




