アーカイブ / LLM
生成中の回答から報酬モデルを更新するSAVE：設問ごとの期待得点を基準に選別
SAVE
SAVEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of SAVE . At each training step t t , the current policy samples an on-policy response group for each prompt. A value-anchored reward model computes response-level RM advantages, filters ambiguous samples, and partitions the retained responses into positive and negative feedback. The reward head is improved with a value-anchored contrastive objective, the value head is calibrated to the group mean reward, and the improved reward model supplies fresh rewards for policy model optimization.
概要
- SAVEは、生成中の回答の得点を設問ごとの期待得点と比べ、報酬モデルの更新に使う。
- 著者の６指標評価では、Qwen3-4B-Instruct-2507とGRPOを使う条件の平均が、初期モデルの76.0から77.3になった。
- 社内規程への応用には、選好ラベル付き回答対での初期学習と、規程本文に照らした独立評価が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SAVEの仕組み
- 01設問と生成回答群
- 02得点と期待得点
- 03回答の選別
- 04両モデルの更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
人の好みに沿うよう言語モデルを調整する際、回答を採点する報酬モデルを使う。その学習に必要な「どちらの回答がよいか」という選好データを人や別の判定モデルから集め続けるには、費用や判定の信頼性という課題がある。
言語モデルの学習が進むと、生成する回答は報酬モデルの元の学習データから離れていく。すると、現在の回答に対する採点の誤りが学習に使われるおそれがある。SAVEは、このずれに合わせて報酬モデルも更新する方法を扱う。
手法
まず、選好ラベル付き回答対で報酬モデルを学習する。続いて採点部分を固定し、設問だけから期待得点を出す「価値ヘッド」を、生成回答の平均得点に合わせて学習する。例えば一つの規程質問に複数の回答を作り、各回答の得点から、その質問の期待得点を引く。この差を、基準より良い側か悪い側かを示す値として使う。
学習中は差の小さい回答を閾値で除き、基準の上下に回答が残る設問で、良い側の得点を上げ、悪い側を下げるよう報酬モデルを更新する。価値ヘッドは回答群全体の平均得点に合わせる。その後、同じ回答群を更新後のモデルで採点・選別し直し、その結果を使って回答生成モデルも更新する。
新規性
SAVEは、学習中の言語モデルが現在生成する回答を、報酬モデル自身の更新に使う。設問ごとの期待得点を推定する価値ヘッドを基準に置き、各回答の得点との差から更新信号を作る。
差が小さい回答を学習段階に応じた閾値で除き、基準の上下に回答が残る設問を使う。追加の人手ラベルや外部判定モデルを各更新で取得せず、更新後の報酬モデルで回答を再評価して言語モデルの学習につなげる点が提案の中心である。
従来手法との違い
比較対象は、更新しない初期報酬モデル、固定した選好データで追加学習する方法、回答群の平均得点を基準にするMean Reward、最高点と最低点の回答を対にするHL-BTである。SAVEは平均値をその場で基準にする代わりに、設問から期待得点を推定する出力部を学習する。
報酬モデル評価の６指標平均は、回答生成にQwen3-4B-Instruct-2507とGRPOを使う条件で、初期モデル76.0、固定データによる追加学習76.4、SAVE77.3だった。ただしQwen2.5-3B-Instructを使うSAVEのPPE Preferenceは67.5で、初期モデルの68.4を下回る。
実験結果
著者は初期報酬モデルSkywork-Reward-V2-Llama-3.2-3Bを、RewardBench、RewardBench 2、RM-Bench、PPE Preference、PPE Correctness、JudgeBenchで評価した。GRPOとQwen3-4B-Instruct-2507で回答を生成した条件では、６指標の平均が初期モデルの76.0からSAVEの77.3になった。Qwen2.5-3B-Instructの条件では76.7だった。
下流評価では、Qwen3系列のGRPOがAlpacaEval 2の長さ調整済み勝率51.68％、Arena-Hard-v2.0の勝率30.2％で、表の「+ Improved RM」条件はそれぞれ54.24％、33.9％だった。著者はRLOO、GSPOでの結果も示す。確認できた本文の範囲では、データ分割など付録に委ねられた詳細は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問に対する回答の順位付けに試す。入力は規程に関する質問と、言語モデルが生成した複数の回答。出力は各回答の得点と順位とし、担当者が規程本文と照らして採否を決める。
初期学習には、その業務の質問と、望ましい回答を人が選んだ選好ラベル付き回答対が要る。運用時には質問から新しい回答群を生成し、報酬モデルと価値ヘッドを業務データに合わせて更新する。想定する入力はテキストで、センサーは使わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：業務の質問と、人が優劣を付けた回答対を用意し、初期報酬モデルをその評価基準に合わせる。質問だけを使う学習用データから回答群を生成し、価値ヘッドの調整、回答の選別、報酬モデルと回答生成モデルの更新を小規模に試す。入力はテキストで、センサーは使わない。
評価用の質問と回答対は学習用と分ける。更新前のモデルと、固定した選好データだけで追加学習したモデルを比較基準にし、人の選好との一致率を測る。規程本文に反する回答数と、選別で除かれた回答の割合も記録し、誤採点が増える条件を確認する。
限界と課題
著者が問題として挙げるのは、固定データで学習した報酬モデルと、学習に伴って変わる言語モデルの回答とのずれである。報酬の最大化によって、採点が不正確な領域の誤差が増幅され得るとも説明している。
編集上の検証事項として、SAVEの更新信号も報酬モデル自身の得点に依存するため、誤った採点が続く場合を調べる必要がある。社内規程の正確性や長期運用時の誤回答率は、この評価結果からは判断できない。報告値は記載されたモデル、ベンチマーク、学習条件に限って読むべきである。
出典
元のタイトル・要旨を確認する（英語）
The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement
Building strong reward models (RMs) for language model alignment is bottlenecked by the cost and difficulty of acquiring diverse and reliable preference data from human annotation or judge models. It is dramatically worse as the policy evolves beyond the static RM training. Therefore, we propose SAVE (Self-supervised reward model improvement via Value-Anchored On-policy feedback), a framework that grades on-policy responses as feedback by using the value function for on-policy RM training. SAVE naturally converts the reward-graded on-policy responses into supervision with a prompt-specific value head as an adaptive anchor. It computes RM advantages and filters ambiguous samples to update the RM via a contrastive objective. The effectiveness of SAVE for enhancing RM training is strongly validated through rigorous empirical evaluation across six diverse benchmarks. It achieves outperforming results across all datasets while maintaining consistent improvements across three RL algorithms (GRPO, RLOO, GSPO) and different policy backbones.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01