アーカイブ / LLM
回答の長さで学習問題を選ぶLSPO：数学問題での精度と生成時間
LSPO
LSPOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of Length-aware Sampling for Policy Optimization (LSPO). LSPO builds on common accuracy-based filtering and further filters responses by length, retaining prompts whose average response length is either the longest or the shortest. The vertical height of each response block represents its length.
概要
- LSPOは、複数回答の正答率で選別した問題を、平均回答長の短い側と長い側からさらに選ぶ。
- 掲載された数学評価では、Qwen-2.5-Math-7BのGRPO、DAPO、GSPOのいずれも、３評価セット平均のavg@32正答率が上がった。
- 回答生成後に選別するため生成時間が増える。実務への適用には正答ラベルと、その業務に合わせた採点器の検証が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LSPOの仕組み
- 01学習問題
- 02複数回答を生成
- 03正答率で選別
- 04平均長で選別
- 05モデルを更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LSPOは、言語モデルの推論学習で使う問題を、モデルが生成した回答の長さに応じて選ぶ方法だ。検証可能な報酬による強化学習（RLVR）では、回答を正答と照らして採点し、その結果でモデルを更新する。限られた学習時間でどの問題を採用するかが重要になる。
長い回答は難しい問題への試行錯誤を示す場合があるが、長さだけで正確さは決まらない。著者らは、１問から複数生成した回答の平均長を、正答率による選別に加える手がかりとして調べた。
手法
各問題から複数の回答を生成し、全て正解または全て不正解だった問題を除く。残った問題ごとに、回答の平均長をトークン数で求める。トークンはモデルが文章を扱う単位で、ここでは回答長を測るために使う。各回の生成結果で長さの分布を作り、選別の境界を決める。
標準設定では、平均長が短い下位30％と、65～95％に入る問題を残す。例えば数学問題の学習では、中程度の長さと極端に長い回答を生む問題を外す。採用した問題が１回の更新に必要な件数に達するまで抽出と生成を繰り返し、集めた問題と回答でモデルを更新する。
新規性
LSPOの提案は、正答率による選別を通過した問題を、生成回答の平均長でも選び直す点にある。回答長の短い側と長い側を残し、極端に長い側には上限を設ける。
長さの境界は各回の生成結果から割合で決めるため、学習中に回答長が変わっても選別基準を更新できる。著者らはGRPO、DAPO、GSPOを基礎アルゴリズムとして組み合わせて検証した。
従来手法との違い
比較対象は、全回答が正解または全回答が不正解の問題を除く、正答率による選別だけを使った学習だ。LSPOはその後に回答長でも問題を絞る。学習に必要な件数が集まるまで問題の抽出と回答生成を続けるため、１回の更新前に行う生成は増える。
著者らはDAPOを使い、短い側だけ、長い側だけ、中程度の長さ、正答率による追加選別、長さの値による選別も調べた。掲載された比較では、長さの下位30％と65～95％を残す設定が、３評価セットの平均で最も高かった。
実験結果
著者らはQwen-2.5-Math-7BとQwen3-4B-Baseを、DAPO-17KとMATHの学習セットを組み合わせて24時間学習させた。AIME-25、Olympiad、Minerva-Mathを評価に使い、各問題から32回答を生成するavg@32の正答率を報告した。生成温度は1.0で、数値は時間内の最後の２保存時点の平均である。
表１の３評価セット平均では、Qwen-2.5-Math-7BでGRPOが37.5％から38.7％、DAPOが37.9％から38.6％、GSPOが38.5％から39.2％になった。個別の評価セットには低下例もある。著者らは、正答率選別後の問題の60％を残す設定で、１回あたりの回答生成時間が約60％増えたと報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の計算規則に従う数値問題を解くモデルの学習に試す。入力は過去の計算問題と人が確認した正答、出力は計算過程と最終値を含む回答とする。問題ごとに複数回答を生成し、自動採点の後にLSPOで学習対象を選ぶ。
必要な元データは実務に近い問題、ラベルは各問題の正答で、センサー入力は不要だ。単位や許容誤差を判定できるよう採点器を調整し、業務固有の表記と規則にも合わせる。この用途の改善は論文では検証されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実務に近い計算問題と確認済みの正答ラベルを用意する。センサー入力は不要だ。単位や許容誤差を扱う採点器を業務の計算規則に合わせ、同じ元モデルから、正答率選別のみとLSPOを加えた学習を比べる。
学習に使わない問題で、最終値の正答率、計算過程の誤り、回答長、学習時間を測る。追加生成の回数と時間も記録し、採点が疑わしい問題は人が確認する。改善の有無は、精度と追加の生成負担を併せて判断する。
限界と課題
著者らは、損失関数が回答長に強く依存する学習法でLSPOの利点は保証されないと述べる。常に同じトークン数を生成するモデルでは長さによる選別が機能せず、回答を生成してから選ぶ方式には追加の生成時間もかかる。
編集上の検証事項は、業務問題でも長短両端の選別が有効か、採点器の誤判定が学習にどう影響するかだ。掲載された評価は数学問題に限られるため、計算規則や回答形式が異なる業務での正確さは別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning
Since the release of Deepseek-R1, reinforcement learning with verifiable rewards (RLVR) has become a central approach for training large language models (LLMs) on reasoning tasks. Recent work has largely focused on modifying loss functions to make RLVR more efficient and effective. In this paper, motivated by studies of overthinking in LLMs, we propose Length-aware Sampling for Policy Optimization (LSPO), a novel meta-RLVR algorithm that dynamically selects training data at each step based on the average response length. We evaluate LSPO across multiple base models and datasets, demonstrating that it consistently improves learning effectiveness. In addition, we conduct a detailed ablation study to examine alternative ways of incorporating length signals into dynamic sampling, offering further insights and highlighting promising directions for future research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01