アーカイブ / LLM
正答への進歩と食い違う教師信号を選別する言語モデル学習法
R2-OPD
R2-OPDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Distribution of evaluation outcomes for DeepSeek-R1-Distill-Qwen-1.5B and Qwen3-1.7B on DAPO (500 samples, max 7,168 response tokens).
概要
- 生徒の解答区間について、正答への進歩度と教師信号の順位を比較し、衝突の大きい区間の損失を除く。
- 主実験の３数学問題集平均で、著者らは標準OPDのavg@4 32.55・pass@4 47.37に対し、R2-OPDで35.06・51.83を報告した。
- 正解ラベルと正誤判定器が必要で、効果は問題集や指標によって異なる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、R2-OPDの仕組み
- 01問題と生徒の解答
- 02区間の進歩度推定
- 03教師との差を順位比較
- 04信号を選別して更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
R2-OPDは、生徒モデルが作った解答を教師モデルの信号で学ぶ際、正答に役立つ途中の推論まで弱め得る問題を扱う。オンポリシー蒸留（OPD）は、生徒が実際に生成した解答の各位置で教師の予測を参照し、生徒を更新する方法だ。
教師に近い語を選ぶことと、正答へ近づくことは必ずしも一致しない。別の解き方で前進していても教師の予測から離れれば不利な信号を受け得るため、途中の推論が解答に寄与したかを別に確かめる。
手法
まず、生徒の解答を自己修正を示す語などを手掛かりに区切る。各区切りから続きを複数生成し、正解ラベルと正誤判定器で正答に至る割合を推定する。前後の区切りでその割合がどれだけ変わったかを、区間の進歩度とする。区切れない場合や正解が解答中に見つからない場合は、進歩度を計算せず選別を通さない。
次に、進歩度の増減方向が同じ隣接区間を結合し、区間内で教師と生徒の出力確率の差を平均する。例えば、正答に近づいた区間ほど教師との差も大きければ、二つの順位は衝突する。進歩度で並べた区間の隣同士を比べ、衝突の大きい区間の損失を除き、残る信号で生徒を更新する。
新規性
R2-OPDは、教師との一致度を推論の質と同一視せず、一つの解答内で「正答への進歩」と「教師との差」の順位を比べる。順位の衝突を教師信号の信頼性判定に使い、進歩度を新たな学習目標には加えない。
進歩度の符号が同じ隣接区間を結合する設計も特徴だ。著者らは、結合した区間の進歩度には内部の区切り位置で生じた推定誤差が残らないことを数式で示した。
従来手法との違い
標準的なオンポリシー蒸留（OPD）は、生徒モデルが自ら生成した解答の各位置で教師モデルの出力確率と比べ、その差を縮める。教師と違う語の選び方でも正答に近づく区間には、不利な信号が付く場合がある。
R2-OPDは同じ教師信号を基に、進歩度との順位が衝突した区間の損失を除く。本文では正誤に基づく補正を行うUni-OPDなども比較しているが、結果は示された数学問題とモデルの組み合わせに限られる。
実験結果
著者らは重複除去済みのDAPO-Math-17Kで１エポック学習し、AIME 2024・2025とOlympiadBenchで評価した。主実験の生徒はDeepSeek-R1-Distill-Qwen-1.5B、教師はJustRL-1.5B。avg@4は４回答の平均正答率、pass@4は少なくとも１回答が正しい割合である。
３問題集の平均は、標準OPDのavg@4が32.55、pass@4が47.37、R2-OPDは35.06、51.83だった。別の生徒Qwen3-1.7Bと教師e3-1.7Bでは、平均pass@4が45.70から48.19へ上がる一方、AIME 2025のavg@4は27.50から25.83へ下がった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：正解を自動照合できる社内の数理問題を使い、推論モデルの追加学習を試す。入力は問題文と生徒モデルが生成した途中式付きの解答、出力は選別した教師信号で更新したモデルが出す解答とする。
学習には問題文、正解ラベル、正誤判定器、生徒と教師の出力確率が必要だ。画像・音声センサーは使わない。問題形式に合わせて推論区間の切り方と正誤判定を調整する必要があり、業務での改善は検証対象である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解を自動照合できる数理問題を少量選び、問題文、正解ラベル、正誤判定器を用意する。同じ生徒・教師モデルと学習問題で、標準OPDとR2-OPDを比較する。画像・音声センサーは使わない。
対象の問題形式に合わせて解答の区切り方と正誤判定を調整し、各区切りから続きを生成して進歩度を推定する。学習に使わなかった問題でavg@4とpass@4を測り、途中で切れた解答、進歩度を計算できない解答の割合、追加生成の処理時間も記録する。
限界と課題
著者らの実験では、効果は問題集と指標で異なる。主実験のOlympiadBenchではUni-OPDがR2-OPDを上回る指標があり、マスク率を50％に増やすと二つのAIME問題集で精度が低下した。進歩度を計算できない解答は、選別せず学習に通す設計である。
編集上の検証事項は、正解ラベルと正誤判定器を用意できる問題の範囲、区切り方の妥当性、各区切りから続きを生成する計算負担だ。確認できた本文の範囲では、数学以外の業務での精度や運用費用は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
On-policy distillation (OPD) has emerged as an effective framework for post-training language models by pairing student-generated trajectories with dense token-level supervision from a teacher. However, OPD implicitly assumes that teacher-derived rewards are an appropriate proxy for reasoning progress, and therefore treats all teacher feedback equally during policy optimization. While in practice, this assumption does not always hold. We observe that teacher-derived rewards often conflict with genuine reasoning progress, as reasoning steps with clear reasoning advancement may still receive lower distillation rewards, simply due to deviation from teacher's outputs. To address this mismatch, we propose Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation (R2-OPD), which constructs two within-trajectory rankings of reasoning spans, one from teacher-derived rewards and the other from independently estimated progress reward. Distillation rewards are selectively suppressed whenever the two rankings disagree, reducing supervision that conflicts with reasoning progress while preserving effective teacher guidance. Our approach shows consistent improvement over standard OPD especially regarding reasoning performances.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01