アーカイブ / LLM
強化学習後の正答率を見据え、教師あり学習の重みを変えるPEAR
PEAR
PEARの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : An illustration of how PEAR’s 3 variant works.
概要
- PEARは、解答を作ったモデルと学習中のモデルの生成確率の比でSFTの損失を重み付けし、後続の強化学習に渡す初期モデルを作る。
- 著者らのAIME-2025実験では、Qwen3-4B-Baseの強化学習後のpass@8が通常のSFTで21％、トークン単位のPEARで35％だった。
- 同じ表のQwen3-8B-Baseではpass@8が両者とも35％であり、適用先ごとの検証が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PEARの仕組み
- 01問題と解答列
- 02生成確率を比較
- 03損失を重み付け
- 04RLの初期モデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
推論用の大規模言語モデルでは、問題と解答から学ぶ教師あり微調整（SFT）の後に、モデル自身が生成した解答を使う強化学習（RL）を行うことがある。実用時に重要なのは、SFT直後の得点だけでなく、両段階を終えたモデルの正答率である。
著者らは、SFT直後に高得点だったモデルが、同じRLを受けた後には別のモデルを下回る例を示す。既存の学習データを作ったモデルと、RL中に自分で解答を作るモデルでは、出やすい解答の流れが異なる。このずれを考慮してSFTを設計する。
手法
PEARは、問題文と解答列で行うSFTの各部分に重みを付ける。解答を作ったモデルと学習中のモデルについて、同じ文脈で次の語や記号を出す確率を比べる。語や記号を処理する単位が「トークン」、予測と学習データのずれを表す値が「損失」だ。確率比から重みを求め、トークンごとの損失に掛けてモデルを更新する。
例えば計算問題の解答で、ある途中式の後に続く説明が学習中のモデルには出にくい場合、トークン単位の方式はその続きの確率比を使って途中式の重みを下げる。解答全体に同じ重みを付ける方式と、連続したトークンを区間として扱う方式もある。著者らは確率比を対数で計算し、比と重みの値を一定範囲に収めている。
新規性
PEARは、解答を作ったモデルと学習中のモデルの確率比を使い、後続の強化学習で出会いやすい解答の流れを教師あり学習に反映する。元の損失関数は変えず、各トークンに掛ける重みを変える方式だ。
著者らは、解答全体に同じ重みを付ける方式、後続部分に基づいてトークンごとに重みを付ける方式、連続区間ごとに重みを付ける方式を示す。
従来手法との違い
基準は、各トークンの損失を一様に扱う通常の教師あり微調整（SFT）である。著者らはSFT段階の目的を変えたモデルに同じ強化学習手順を適用し、学習後の成績を比較した。SFT直後の順位が強化学習後も保たれるとは限らないという観察が、PEARの出発点になっている。
現在のトークンだけの確率比で重みを決めるSingle Stepも比較対象だ。表3の数学ベンチマーク平均正解率は、Qwen3-1.7B-Baseの強化学習後で通常のSFTが23％、Single Stepが18％、トークン単位のPEARが26％だった。
実験結果
著者らは、SynLogicなどの正答を検証できる論理ゲームと数学問題で、Qwen2.5、Qwen3、DeepSeek由来のモデルを評価した。数学用のSFTデータはSYNTHETIC-2の異なる33,400問から作った10万組の問題・解答で、後続の強化学習にはDAPO-17kを用いた。比較ではSFT段階の目的を変え、後続には同じGRPOという強化学習手順を適用した。
表2のAIME-2025では、Qwen3-4B-Baseの強化学習後のpass@8が通常のSFTで21％、トークン単位のPEARで35％だった。pass@8は8回の生成を使う正答指標である。同じ条件のQwen3-8B-Baseでは両者とも35％で、モデルごとに結果が異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内研修の計算問題を解き、途中の説明と最終答えを返すモデルを想定する。入力は問題文、出力は解答文と最終答えとし、最終答えを用意済みの正答と照合する。これは論文で検証された業務用途ではない。
必要なのは、利用範囲を確認した問題文と正答、最終答えで検証した解答文、解答を生成した元モデルの確率情報である。センサーは使わない。問題の表記と採点基準をそろえ、PEARを使うSFTの後に、同じ基準で答えを評価する強化学習へ進む案だ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：研修用の計算問題を少数選び、問題文、正答、最終答えを確認済みの解答列を用意する。各解答を作ったモデルと、その解答の生成確率も記録する。必要なデータと正答ラベルは文書で管理でき、センサーは不要だ。問題の形式と採点基準をそろえて学習に使う。
同じ初期モデルと問題・解答データを使い、通常のSFTとPEARによるSFTを比較する。その後は同じ強化学習手順を適用し、学習に使わない問題で前後の正答率とpass@8を測る。採点不能な出力や説明と最終答えの食い違いも数え、用途に合わせて適用可否を判断する。
限界と課題
著者らは、長い解答にわたり確率比を掛け合わせると重みのばらつきが大きくなると説明する。PEARでは計算を対数で行い、トークンごとの確率比と最終的な重みに範囲を設ける。区間単位の方式も、重みの安定性を考慮した選択肢として示されている。
編集上の検証事項：導入先で元モデルの確率を取得できるか、最終答えの判定が信頼できるかを確認する必要がある。確認できた本文の範囲では社内問題での効果は示されていない。表2のAIME-2025では、Qwen3-8B-Baseのpass@8は通常のSFTとPEARの双方が35％だった。
出典
元のタイトル・要旨を確認する（英語）
Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning
Post-training of reasoning LLMs is a holistic process that typically consists of an offline SFT stage followed by an online reinforcement learning (RL) stage. However, SFT is often optimized in isolation to maximize SFT performance alone. We show that, after identical RL training, models initialized from stronger SFT checkpoints can significantly underperform those initialized from weaker ones. We attribute this to a mismatch typical in current SFT-RL pipelines: the distribution that generates the offline SFT data can differ substantially from the policy optimized during online RL, which learns from its own rollouts. We propose PEAR (Policy Evaluation-inspired Algorithm for Offline Learning Loss Re-weighting), an SFT-stage method that corrects this mismatch and better prepares the model for RL. PEAR uses importance sampling to reweight the SFT loss, with three variants operating at the token, block, and sequence levels. It can be used to augment standard SFT objectives and incurs little additional training overhead once probabilities for the offline data are collected. We conduct controlled experiments on verifiable reasoning games and mathematical reasoning tasks on Qwen 2.5 and 3 and DeepSeek-distilled models. PEAR consistently improves post-RL performance over canonical SFT, with pass at 8 gains up to a 14.6 percent on AIME2025. Our results suggest that PEAR is an effective step toward more holistic LLM post-training by designing and evaluating SFT with downstream RL in mind rather than in isolation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01