アーカイブ / VLM / Computer Vision
画像内の物体関係を学習時に教え、回答前の内部推論に生かすReGuLaR
ReGuLaR
ReGuLaRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Unlike standard CoT, ReGuLaR grounds latent reasoning in question-relevant objects and visual relations, forming a scene graph before generating the final answer.
概要
- 学習時に物体の枠と関係ラベルを使い、回答前の潜在状態を画像内の物体関係に結び付ける。
- 著者らの報告では、V* Benchの正解率はReGuLaR-7Bが83.25％、LASERが80.10％だった。
- 回答時の入力は画像と質問だけだが、新しい分野への適応には関係を注釈した学習データが必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ReGuLaRの仕組み
- 01画像と質問
- 02潜在状態で関係を扱う
- 03回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ReGuLaRは、画像への質問に答える前に、関連する物体とその関係をモデル内部で扱う方法だ。位置関係を問われた場合は、物体の識別に加え、どちらが主体で、両者がどう結び付くかを捉える必要がある。
思考過程を文章にする方式では、細かな視覚情報を言葉に移しきれない場合がある。内部の数値表現を使う方式にも、その表現を画像内の物体や関係とどう結び付けて学ぶかという課題がある。
手法
学習には画像、質問、正解、物体を囲む枠、物体間の関係ラベルを使う。質問や正解に現れる物体を手掛かりに、画像内の関係から学習対象を選ぶ。各推論段階には主体・関係・対象の組を割り当てる。ReGFormerは潜在状態と画像を小領域ごとに表した特徴を照合し、主体と対象に向ける注意、および関係の予測を学習の手掛かりにする。
例えば「机の左にある物は何か」なら、机と候補物体の領域、両者の左右関係が学習時の手掛かりになる。回答時はReGFormerも物体の枠も入力せず、画像と質問から潜在推論を経て回答を出す。主な実験では回答前の潜在推論を4段階に設定した。
新規性
ReGuLaRは、回答前の潜在状態を、質問に関係する主体・関係・対象の組と結び付けて学習する。潜在状態とは、モデルが内部で扱う数値表現のことだ。
学習時のReGFormerが主体と対象の画像領域、および両者の関係を監督する。回答時にはこの補助機構を使わず、画像と質問だけで内部推論から回答生成まで進める点が、著者らの提案である。
従来手法との違い
基盤モデルのQwen2.5-VL-7Bに加え、同じRGrounding-351Kで回答だけを学ぶvanilla SFTと、物体関係を文章化してから答えるtext rationalesが比較対象だ。この比較は、学習データや関係情報の文章化だけで成績を説明できるかを調べる。
既存の潜在推論方式LASERとも比較している。表ではReGuLaRがV* Benchで83.25％、LASERが80.10％だが、HallusionBenchでは順に66.08％、67.05％で、すべての評価項目で上回ったわけではない。
実験結果
著者らは英語の質問と回答を使うV* Bench、HRBench、MMVP、BLINK、SEED-Bench-2-Plus、HallusionBenchで正解率を報告した。Qwen2.5-VL-7Bを基盤とするReGuLaR-7Bは、V* Benchで83.25％、MMVPで73.67％、BLINKで61.81％だった。
同じ3件でLASERは順に80.10％、73.00％、58.55％。同じ学習データを用いた追加比較では、この3件の平均正解率はReGuLaRが72.91％、vanilla SFTが67.11％、text rationalesが67.44％と著者らは報告した。この平均は6件全体の平均ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造現場の静止写真で、指定した二つの部品の位置関係を質問する。写真と「部品Aは部品Bの左にあるか」を入力し、回答を作業者が写真と照合して記録する流れを想定する。成績向上を保証する用途ではない。
現場向けの適応には、対象部品を写した学習用写真、質問と正解、部品を囲む枠、主体と対象の関係ラベルが必要だ。論文の評価に製造現場の写真は含まれていないため、部品の見え方や現場用語への適応は別途確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象部品と質問の種類を絞り、現場写真を学習用と評価用に分ける。学習用には質問・正解、部品の枠、主体と対象の関係ラベルを付け、現場の用語に合わせて適応させる。評価用の正解は先に人が確定する。
同じ評価用写真と質問で、ReGuLaR方式と回答だけを学ぶ方式を比べる。質問別の正解率、左右関係の取り違え、対象部品を見失った誤答を数える。枠や関係ラベルを付ける作業量も記録し、精度差と準備負担を併せて判断する。
限界と課題
著者らが明記する制約は、学習時に物体の枠と物体間の関係ラベルを要することだ。回答時に注釈は不要だが、対象分野を広げる際に質の高い関係ラベルを集める費用が増え得る、と述べている。
編集上の検証事項は、現場固有の物体や重なりがある写真でも関係を正しく扱えるか、誤答を人が発見できるかだ。論文には内部状態への注意を可視化した例があるが、それだけで個々の回答の根拠を常に確認できるとは判断できない。
出典
元のタイトル・要旨を確認する（英語）
ReGuLaR: Relation-Grounded Latent Reasoning for Large Vision-Language Models
Chain-of-thought (CoT) reasoning has significantly improved the reasoning ability of large vision-language models (LVLMs) by verbalizing intermediate reasoning steps in natural language. However, such discrete textual rationales are often insufficient for encoding continuous visual evidence. Recent work addresses this limitation by moving reasoning into continuous latent space. Despite promising progress, existing methods leave latent reasoning insufficiently connected to the compositional and relational structure of visual evidence. To address this gap, we introduce ReGuLaR, a relation grounded latent reasoning framework that explicitly grounds latent states in these critical yet overlooked visual evidence. ReGuLaR uses a training-time ReGFormer to focus latent reasoning on question-relevant objects and inter-object relations, while at inference time the model reasons and generates answers without invoking the ReGFormer. To support training ReGuLaR, we construct RGROUNDING-351K, a real-world vision-language dataset annotated with key object bounding boxes and inter-object relations. Extensive experiments across diverse benchmarks show that ReGuLaR consistently outperforms existing approaches and achieves state-of-the-art performance. We include our code in the submission and will release the code and training data publicly upon acceptance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01