アーカイブ / VLM
画像説明の誤記と見落としを生成中に調整するMRGD
Multimodal Reward-Guided Decoding (MRGD)
Multimodal Reward-Guided Decoding (MRGD)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : Object precision and recall for LLaVA-1.5 on COCO, with T = 1 T{=}1 . Varying w w modulates the precision-recall trade-off under a fixed compute budget, while increasing compute via a larger k k improves both precision and recall, significantly surpassing greedy search and bringing the trade-off curve closer to the ideal.
概要
- MRGDは画像説明の続きの文を複数作り、幻覚抑制と物体への言及を評価する報酬で選ぶ。
- LLaVA-1.5のCOCO評価では、幻覚抑制のみを使うとCiが15.05から4.53に下がり、Rec.も81.30から76.04に下がった。
- 現場利用では、対象写真の正解ラベルを用い、誤記、見落とし、処理時間を貪欲法と比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multimodal Reward-Guided Decoding (MRGD)の仕組み
- 01画像と説明指示
- 02続きの文を複数生成
- 03二つの報酬で採点
- 04最良の文を追加
- 05画像説明文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MRGDは、画像説明文を作る途中で複数の候補を比べ、画像にない物体の記載と、写っている物体の見落としを調整する。画像にない物体を書いてしまうことを、この研究では物体の「幻覚」と呼ぶ。
作業記録や画像検索に説明文を使う場合、誤った物体名は確認の手間や誤情報につながる。一方で、記載を慎重にしすぎると必要な物体も落としうる。著者らは、この優先順位と生成時の計算量を選べるようにする課題を扱った。
手法
MRGDは画像と説明指示を受け、作成中の文章に続く候補を複数生成する。候補を画像にない物体の記載を抑える報酬と、画像内の物体への言及を促す報酬で採点し、最も点数の高い候補を文章に追加する。これを終了まで繰り返し、報酬の比重、候補数、何文ごとに採点するかを推論時に指定する。
前者の報酬は、画像・指示・好ましい回答・避けたい回答の組から学習する。後者は、物体検出器で画像中の物体を挙げ、品詞判定器で候補文から物体を表す語を拾い、語の意味の近さで照合する。例えば写真の「自転車」に候補の語が対応するかを調べる。採点には、それまで選んだ文章も含める。
新規性
著者らが提案するのは、画像と言葉の対応を評価する二つの報酬を、文章の生成中に組み合わせて使う方法だ。一方は画像にない物体の記載を抑え、もう一方は検出された物体への言及を促す。
利用者は推論時に報酬の比重、候補数、採点する文の間隔を変えられる。著者らは、学習済みの報酬モデルを複数の基盤モデルに再学習なしで適用したと報告する。
従来手法との違い
基準となる貪欲法は、各段階で最も選ばれやすい語を採用する。MRGDは複数の続きの文を作り、画像との対応を報酬で採点してから選ぶ。著者らは指示文の調整、ビーム探索、追加学習を使う手法とも比較した。
近い手法のCGDは既存の画像・文章モデルで候補を評価する。MRGDは選好データから学習した報酬と、物体への言及を数える報酬を組み合わせる。ただし、掲載値から比較できるのは対象のモデル、画像説明課題、設定の範囲に限られる。
実験結果
著者らは画像説明中の物体の幻覚を、CHAIRの5,000件とAMBERの1,000件で評価した。LLaVA-1.5で候補数30、毎文採点、幻覚抑制の報酬のみを使う条件では、COCOの物体単位の幻覚率Ciが貪欲法の15.05から4.53に下がり、物体再現率Rec.は81.30から76.04に下がった。
同じ条件のAMBERでは、物体単位の幻覚率CHAIRが7.6から3.4、網羅度Cov.が49.3から52.4だった。著者らはLlama-3.2-VisionとSmolVLM-2でも結果を示している。これらは掲載された画像説明ベンチマークでの値であり、建設現場の画像に対する精度や処理時間を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設現場の写真から、作業記録に添える物体説明文の下書きを作る。入力は現場カメラで撮った写真と説明指示、出力は写っている物体を記した短い文章とし、担当者が写真と照合して修正する。
試すには対象現場の写真、重要物体の正解ラベル、写真に合う説明文と合わない説明文の対を集める。現場固有の物体名について、検出器と文章評価用の報酬を適合させる必要があるかを調べる。効果は実務画像で確かめる仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場カメラの写真を集め、人が重要物体の正解ラベルと確認済みの説明文を付ける。報酬を対象業務向けに再学習する場合は、同じ写真に対する好ましい説明文と避けたい説明文の対も用意する。
元モデルの貪欲法を基準に、同じ写真でMRGDの報酬比重と候補数を変える。画像にない物体名の件数、重要物体の見落とし件数、処理時間、人による修正の割合を記録する。先に検出器が現場固有の物体名を扱えるか調べ、必要なら名称の対応付けや報酬の調整を検討する。
限界と課題
著者らは、物体への言及を評価する報酬が不完全な推定値だと述べる。COCOでの構成要素の評価では、画像の物体検出器の適合率は63.16%、再現率は55.83%、説明文の品詞判定器はそれぞれ67.04%、54.54%だった。見落としや誤検出が候補の採点に影響しうる。
編集上の検証事項は、現場固有の名称や同義語を正しく照合できるか、重要物体を拾えるか、候補数と採点頻度を増やした際の処理時間が許容範囲かである。実務画像に対する性能は掲載された評価値からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Controlling Multimodal LLMs via Reward-guided Decoding
As Multimodal Large Language Models (MLLMs) gain widespread applicability, it is becoming increasingly desirable to adapt them for diverse user needs. In this paper, we study the adaptation of MLLMs through controlled decoding. To achieve this, we introduce the first method for reward-guided decoding of MLLMs and demonstrate its application in improving their visual grounding. Our method involves building reward models for visual grounding and using them to guide the MLLM's decoding process. Concretely, we build two separate reward models to independently control the degree of object precision and recall in the model's output. Our approach enables on-the-fly controllability of an MLLM's inference process in two ways: first, by giving control over the relative importance of each reward function during decoding, allowing a user to dynamically trade off object precision for recall in image captioning tasks; second, by giving control over the breadth of the search during decoding, allowing the user to control the trade-off between the amount of test-time compute and the degree of visual grounding. We evaluate our method on standard object hallucination benchmarks, showing that it provides significant controllability over MLLM inference, while consistently outperforming existing hallucination mitigation methods.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01