アーカイブ / VLM
推論の途中でも画像を参照する視覚言語モデルの二段階学習
Reflection-V
Reflection-Vの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Existing “slow-thinking” VLMs claimed “aha moment” is often merely a textual reflection. We instead highlight visual reflection, where VLM actively verifies and refines its reasoning based on visual inputs.
概要
- 言語モデルと視覚言語モデルの対話から、推論中に視覚情報を繰り返し取得する学習例を作る。
- 正答した回答では、後半も画像への注意が保たれるほど報酬を高める。
- 著者らの7BモデルはMathVistaで73.3、基礎モデルは68.2だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Reflection-Vの仕組み
- 01正解付き画像と質問
- 02対話で推論例を生成
- 03教師あり微調整
- 04注意報酬付き強化学習
- 05画像質問への回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Reflection-Vは、画像を使って考える途中でも視覚情報を参照しやすくするため、視覚言語モデルを学習する方法である。視覚言語モデルとは、画像と文章を一緒に受け取り、質問に答えるAIを指す。
著者らの分析では、既存モデルは回答が長くなるにつれて画像への注意と依存が低下した。図や写真に基づく判断では、推論の後半も元の画像を踏まえているかが重要になる。著者らはこの確認を「視覚的な振り返り」と呼ぶ。
手法
まず、推論用の言語モデルが必要な視覚情報を視覚言語モデルに尋ね、返答を受けて推論を続ける。例えば図中の位置関係を問うなら、途中で対象の位置を照会する。正解に至った対話から、最初の照会だけで正答した例を除き、文章を整えて学習例にする。教師あり微調整とは、この例を手本にモデルを学習させる工程である。
次に、生成した回答への報酬を使う強化学習を行う。正答した場合に、回答後半の語が画像情報へ向ける「注意」の量を前半と比べ、後半でも保たれるほど報酬を増やす。学習後のモデルは画像と質問から回答を生成する。対話による照会は学習例の作成手順であり、利用時に別のモデルへ毎回質問する手順としては示されていない。
新規性
著者らの提案は、推論中に画像情報を繰り返し取得する対話から学習例を作り、その後の強化学習でも画像への注意を報酬に反映する点にある。学習データと報酬の両方で、視覚情報に基づく推論を促す。
報酬は、正答した回答について、後半の語から画像情報への注意量を前半と比較して計算する。これはモデル内部の注意を評価する仕組みであり、注意が高いだけで回答の根拠が正しいと証明するものではない。
従来手法との違い
比較対象は、画像の説明文を先に作り、その文章を基に推論例を生成する学習法である。Reflection-Vでは、推論を担う言語モデルが途中で必要な視覚情報を視覚言語モデルに尋ねるため、複数回の画像情報の取得を学習例に含められる。
著者らは、同じ元データから作った説明文ベースの例へ初期学習データを置き換えて比較した。7BモデルのMathVistaの表中の値は、提案法が73.30、置き換えた条件が69.00だった。この差は示された学習・評価条件での結果である。
実験結果
著者らはMathVista・MathVisionの数学的な画像推論、MMMU・MMMU-Proの分野横断問題、M3CoTの一般的な推論で評価した。表ではReflection-V-7BのMathVistaの値が73.3、基礎モデルQwen2.5-VL-7Bが68.2だった。MMMUは61.3に対し、著者らが再測定した基礎モデルは54.3だった。
部品を除く比較では、7BモデルのMathVistaは両段階を用いた条件で73.30、画像への注意に基づく報酬を除くと72.40、対話から作る初期学習を除くと70.40だった。著者らはMMMU上で、推論が長くなっても画像への注意と依存が比較的持続したと報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設図面で、部屋に接する開口部を担当者が確認する作業を支援する。図面画像と質問を入力し、候補となる開口部と、担当者が原図で確かめるべき位置を文章で出力する。回答は担当者が図面に照らして確定する。
適応用には対象業務の図面画像、質問、担当者が確定した正解ラベルを集め、位置も評価するなら根拠箇所のラベルを追加する。既存の電子図面を使う想定では新たなセンサー入力は不要で、図面の記号や表記に合わせた学習例を作る必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の建設図面に絞り、図面画像、実際の質問、担当者が確定した正解ラベルを用意する。根拠位置も評価するなら、その箇所を別に記録する。既存の電子図面を入力に使う場合は追加センサーを設けず、図面特有の記号を含む学習例で適応を試す。
同じ質問群に適応前の視覚言語モデルも回答させ、基準とする。正答率、根拠位置の一致率、回答時間を測り、図面の種類や文字の細かさごとに結果を分ける。誤答や根拠の不一致を担当者が原図で確認し、再学習に使う例を選ぶ。
限界と課題
確認できた本文の範囲では、著者らが明示した建設図面への適用上の限界は示されていない。報告された評価は視覚推論の公開課題が中心で、図面読解の成績はない。学習データの詳しい内訳や評価用分割も、この範囲だけでは確認できない。
編集上の検証事項は、画像への注意が保たれた回答で根拠箇所も正しいか、細かな文字や似た記号を区別できるか、回答時間が実務に合うかである。これらは報告済みの効果ではなく、図面ごとに人が測定すべき項目である。
出典
元のタイトル・要旨を確認する（英語）
Look Again, Think Slowly: Enhancing Visual Reflection in Vision-Language Models
Recent advances in text-only "slow-thinking" reasoning have prompted efforts to transfer this capability to vision-language models (VLMs), for training visual reasoning models (\textbf{VRMs}). owever, such transfer faces critical challenges: Effective "slow thinking" in VRMs requires \textbf{visual reflection}, the ability to check the reasoning process based on visual information. Through quantitative analysis, we observe that current VRMs exhibit limited visual reflection, as their attention to visual information diminishes rapidly with longer generated responses. To address this challenge, we propose a new VRM \textbf{Reflection-V}, which enhances visual reflection based on reasoning data construction for cold-start and reward design for reinforcement learning (RL). Firstly, we construct vision-centered reasoning data by leveraging an agent that interacts between VLMs and reasoning LLMs, enabling cold-start learning of visual reflection patterns. Secondly, a visual attention based reward model is employed during RL to encourage reasoning based on visual information. Therefore, \textbf{Reflection-V} demonstrates significant improvements across multiple visual reasoning benchmarks. Furthermore, \textbf{Reflection-V} maintains a stronger and more consistent reliance on visual information during visual reasoning, indicating effective enhancement in visual reflection capabilities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01