アーカイブ / VLM
画像への回答を項目ごとに採点し、学習用の得点を作るRLR3
Reinforcement Learning with Robust Rubric Rewards
Reinforcement Learning with Robust Rubric Rewardsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of RLR 3 \text{RLR}^{3} . Instance-specific rubrics turn response quality assessment into concrete criteria and criterion-level rewards. Verifiable criteria are routed to a text-only LLM-as-an-extractor followed by deterministic verification, while fuzzy criteria are routed to a text-only LLM-as-a-Judge.
概要
- RLR3は採点項目ごとに機械的な照合と文章による判定を使い分け、必須項目を優先して学習用の得点を作る。
- 著者らが報告した15ベンチマークのマクロ平均では、三つの学習データ群すべてでRLR3がRLVRを上回った。
- 点検写真への応用には、表示値の正解ラベルと説明条件を用意し、誤答への加点を別途検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Reinforcement Learning with Robust Rubric Rewardsの仕組み
- 01画像・質問・参照答え
- 02項目別の採点表
- 03候補回答を項目別採点
- 04学習用の得点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RLR3は、画像と文章を扱うAIの回答を複数の項目で採点し、その得点を追加学習に使う方法である。従来のRLVRは、答えを機械的に照合できる課題に向く。一方、画像についての回答には、照合できる値と、意味を読んで判断する説明が混在する。
たとえば時刻の一致は確認できても、指定された説明を満たすかは別の判断が要る。学習中に採点の誤りが繰り返されると、AIが誤った得点を得やすい回答へ変わるおそれがあり、項目ごとの採点方法が重要になる。
手法
質問ごとに「ルーブリック」と呼ぶ採点表を作り、各項目の内容、重み、必須か追加か、確認方法、参照する正解を記す。回答中の時刻などは言語モデルが値を抽出し、検証器が正解と照合する。言い換えや個別の指示への対応など、機械的に照合できない項目は文章を読むモデルが判定する。
値を抽出するモデルには正解を見せず、両方の採点経路には元画像を見せない。回答にない値を正解や画像から補って採点する近道を防ぐためだ。同じ質問から作った複数回答の項目得点を比較しやすいよう調整した後、必須項目を優先して一つの得点にまとめ、回答を作るAIの学習に使う。
新規性
RLR3は、回答全体の正誤ではなく、採点項目ごとに機械的な照合が可能かを判断する。照合できる項目は回答から値を抽出して検証し、できない項目は文章を読む判定モデルで採点する。
抽出側には照合先の正解を見せず、両方の採点経路から元画像を隠す。さらに、必須項目の失敗を追加項目の得点で埋め合わせられないよう、得点を集計する。
従来手法との違い
比較対象のRLVRは、正解との照合など、結果を機械的に確かめられる課題で得点を作り、学習に使う方法である。画像への回答では、最終的な答えを照合できても、説明の細部や個別の指示を同じ方法では確認しにくい。
RLR3は、照合可能な項目には機械的な検証を使い、意味の判断が必要な項目には文章による判定を使う。著者らは同じ三つの学習データ群でRLVRと比較した。全体の平均は各群で上回ったが、個別のベンチマークには下回る結果もある。
実験結果
著者らはQwen3-VL-30B-A3Bを対象に、ViRL、OpenMMR、DeepVisionの各学習データ群でRLVRと比較した。数学、一般的な画像質問応答、数え上げ、文書の質問応答にまたがる15ベンチマークの公式testまたはtestmini分割を使い、各手法で15件のマクロ平均が最良の保存時点を報告した。
マクロ平均は、ViRLでRLVRの76.4に対しRLR3は77.7、OpenMMRで76.4に対し78.1、DeepVisionで77.4に対し78.2だった。採点モデルの別試験では、入力が重複しない1000件のテスト例について、項目単位の総合正解率は教師あり学習版94.3％、RLVR学習版95.0％と著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備の表示部を写した点検写真について、画像対応AIに表示値と説明を回答させる。入力は写真と質問、出力は表示値と指定された説明項目を含む文章とする。表示値は正解ラベルとの照合、説明項目は文章による判定に分ける。
検討には、使用可能な点検写真、撮影用のカメラ、質問、正しい表示値のラベル、説明に必要な条件の記録が要る。写真の種類に合わせて採点項目を調整する必要があり、点検業務での有効性は、この研究の結果からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用可能な点検写真と質問、表示値の正解ラベル、説明で満たすべき条件を集め、写真と質問の組が学習用と評価用で重ならないよう分ける。撮影に使うカメラと写真の取得条件を記録し、表示部や質問の種類に合わせて必須項目と追加項目を調整する。
同じデータと評価条件で、最終回答を正解と照合するRLVRを基準に置く。表示値の正答率と、必須項目を欠いた回答への誤加点率を測る。値の抽出時は正解を、文章の判定時は写真を見せず、採点表の調整前後でも結果を比較する。
限界と課題
著者らは、OpenMMRの視覚的なパズルでは、最終的な正解だけを参照して自動作成した採点表による指導が限られる可能性を挙げる。また、学習途中の複数の保存時点で得られた強みは、単一の最終モデルに集約されていないと述べる。
編集上の検証事項は、現場写真でも項目を適切に作れるか、誤答への加点を抑えられるかである。なお本文はOpenMMRの改善幅が他の二群より小さいと述べるが、掲載値から計算するとOpenMMRは1.7点、ViRLは1.3点、DeepVisionは0.8点であり、この説明とは一致しない。
出典
元のタイトル・要旨を確認する（英語）
Reinforcement Learning with Robust Rubric Rewards
While Reinforcement Learning with Verifiable Rewards (RLVR) is effective for deterministically checkable tasks, many vision-language tasks are partially verifiable, demanding multi-criteria supervision (e.g., perceptual details, reasoning steps, and constraints). Rubrics provide a natural interface for this fine-grained supervision, but their effectiveness depends on the execution accuracy during online RL. We propose Reinforcement Learning with Robust Rubric Rewards ($\text{RLR}^3$), extending RLVR from task-level verification to criterion-level verification. $\text{RLR}^3$ routes instance-specific rubrics through two execution paths: an LLM-as-an-extractor paired with a deterministic verifier, or an LLM-as-a-Judge for non-verifiable criteria. To ensure faithful scoring, $\text{RLR}^3$ introduce a minimal exposure strategy that masks ground truths from extractors and images from judges. Furthermore, $\text{RLR}^3$ employs hierarchical aggregation to prioritize essential criteria over additional criteria, and mitigates score saturation within rollout groups. Evaluated on Qwen3-VL-30B-A3B across 15 benchmarks, $\text{RLR}^3$ consistently outperforms RLVR, yielding a 4.7-point improvement over the base model and exceeding the official instruct-to-thinking model gap. Controlled audits confirm our deterministic verification and minimal exposure significantly reduce exploitable false positives.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01