アーカイブ / VLM
画像の見誤りを推論への報酬に反映する視覚言語モデルの学習法
PaLMR
PaLMRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Overview of the proposed PaLMR framework. The model adopts a two-layer architecture: (a) the Perception-Aligned Data Layer (PaDLayer) builds process-aware multimodal data with structured pseudo ground truths and verifiable visual facts; and (b) the Process-Aligned Optimization Layer (PaOLayer) integrates perception-aware, answer, and format rewards into GRPO to enforce visually faithful and logically coherent reasoning.
概要
- PaLMRは候補推論を参照例と比較し、候補が選ばれなければ最終回答が正しくても報酬をゼロにする。
- Qwen2.5-VL-7Bを4,728件で学習した表1では、HallusionBenchの正答率が通常のGRPOの66.7に対して70.9だったが、MathVistaでは74.1に対して73.8だった。
- 著者らはQwen3-VL-8Bで効果が弱まる例を報告しており、参照例と比較判定の質が適用時の確認点になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PaLMRの仕組み
- 01画像・質問・正答
- 02擬似事実と参照例
- 03候補推論を対比較
- 04報酬で更新
- 05回答するモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PaLMRは、画像と質問に答えるモデルの推論を、画像に見える内容に沿わせる学習法である。例えば画像にコップが四つあるのに「三つ」と述べ、別の手掛かりで正答した場合、最終回答の正誤だけを評価する学習では見誤りを見逃す。
回答の根拠を確認したい場面では、正答に至る途中の画像認識も重要になる。著者らは、画像について何を述べたかを学習時の報酬に反映し、こうした推論過程の誤りを減らそうとした。
手法
まずFineVisionから画像・質問・正答の組を集め、複数回の回答が不安定な例や容易すぎる例などを除く。次に画像説明を生成して物、位置関係、属性を記述し、複数の回答候補を比較・選別して参照用の推論を作る。これらは学習用に作った擬似的な基準であり、人が確認した正解とは限らない。
学習中はモデルの候補推論を参照例と比べ、判定モデルが画像上の事実も踏まえてどちらを好むかを二値で示す。例えばコップの数を誤って述べた候補が選ばれなければ、最終回答が合っていても報酬はゼロになる。候補が選ばれた場合に回答の正確さと書式を評価し、複数候補の報酬を比べるGRPOでモデルを更新する。
新規性
PaLMRは、画像の説明と推論の整合性を、最終回答への報酬を与える条件に組み込む。画像から作った擬似的な事実と参照用の推論を使い、学習中に生成された推論との対比較で二値の判定を得る。
判定で候補が参照例より好まれなければ、回答が正しくても報酬全体をゼロにする設計だ。これは画像上の事実を直接証明する仕組みではなく、比較判定の質に依存する。
従来手法との違い
比較対象は、学習前のQwen2.5-VL-7Bと、同じ約4,700件を使って通常のGRPOで学習したモデルである。GRPOは一つの問いに複数の回答を生成し、各回答の報酬を集団内で比べてモデルを更新する方法を指す。
PaLMRは通常のGRPOに、画像に沿った推論かを対比較する報酬を加える。著者らはGeo3Kの回答100件を使った判定の比較で、推論を個別に採点する方式より対比較のほうが人の判断と一致しやすいと報告している。
実験結果
著者らはFineVisionの19領域から選別した4,728件でQwen2.5-VL-7Bを学習した。表1の正答率は、HallusionBenchでPaLMRが70.9、同程度の件数で学習した通常のGRPOが66.7、学習前モデルが63.8だった。MMMUの検証用データでは順に59.3、57.8、56.4である。
MathVerseの画像のみの課題ではPaLMRが47.5、通常のGRPOが45.9だった。一方、MathVistaでは73.8対74.1で上回っていない。これらは表1に示された各課題の正答率であり、推論中の画像の見誤りが何件減ったかを直接示す数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内報告書のグラフ画像と質問を入力し、増減についての回答と、根拠に使った軸・凡例・値の説明を出す補助に使う。担当者は説明を元画像と照合してから報告文に採用する。
検討には、自社のグラフ画像、質問と正答のラベル、画像上の事実を確認した記述、参照用の説明文が要る。既存画像を使うため追加センサーは想定しない。社内特有の表記を含むデータで学習と評価を行う必要があり、効果は未検証の応用仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内グラフの画像と質問を集め、正答ラベル、軸・凡例・値について人が確認した記述、参照用の説明文を用意する。入力は既存画像とし、追加センサーは使わない。画像説明と参照例の作成手順を社内の表記に合わせて調整する。
同じ訓練例で学習した通常のGRPOを比較基準に、学習から除いたグラフで回答正答率と説明中の事実記述の一致率を測る。比較判定の誤りと人による確認時間も記録する。論文のベンチマークでの改善幅を、そのまま社内データでの見込み値にはしない。
限界と課題
著者らは、Qwen3-VL-8Bでは効果が弱まったと報告する。HallusionBenchの正答率はPaLMRが75.2、通常のGRPOが75.3、MathVerseの画像のみの課題では60.0対60.8だった。学習対象が参照例の作成モデルより高性能になると、比較判定の精度が落ちる可能性を挙げている。
編集上の検証事項は、生成した画像説明や参照例の誤り、比較判定の誤り、実務のグラフへの適合性である。判定が報酬全体を左右するため、正答率に加え、根拠として述べた内容を人が画像と照合する必要がある。
出典
元のタイトル・要旨を確認する（英語）
PaLMR: Towards Faithful Visual Reasoning via Multimodal Process Alignment
Reinforcement learning has recently improved the reasoning ability of Large Language Models and Multimodal LLMs, yet prevailing reward designs emphasise final-answer correctness and consequently tolerate process hallucinations--cases where models reach the right answer while misperceiving visual evidence. We address this process-level misalignment with PaLMR, a framework that aligns not only outcomes but also the reasoning process itself. PaLMR comprises two complementary components: a perception-aligned data layer that constructs process-aware reasoning data with structured pseudo-ground-truths and verifiable visual facts, and a process-aligned optimisation layer that constructs a hierarchical reward fusion scheme with a process-aware scoring function to encourage visually faithful chains-of-thought and improve training stability. Experiments on Qwen2.5-VL-7B show that our approach substantially reduces reasoning hallucinations and improves visual reasoning fidelity, achieving state-of-the-art results on HallusionBench while maintaining strong performance on MMMU, MathVista, and MathVerse. These findings indicate that PaLMR offers a principled and practical route to process-aligned multimodal reasoning, advancing the reliability and interpretability of MLLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01