アーカイブ / VLM
画像説明の誤記を抑える、物体と文意の二段階学習
HELPD
HELPDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: A case of LVLM hallucination. The parts marked in red are, in fact, hallucinations. The parts marked in blue would be mistaken for hallucinations by detection methods that focus only on objects.
概要
- 生成文と正解文を物体名の一致度と文全体の意味で評価し、学習の後半に反映する。
- 生成時には、過去の文章への注意に加え、画像への注意も単語選択の罰則計算に使う。
- MSCOCO検証集合のPOPE Random条件で、LLaVA-1.5のF1値は88.63から89.86になったと著者らは報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HELPDの仕組み
- 01学習画像と正解文
- 02候補文を二層採点
- 03後半の追加学習
- 04画像注意で文生成
- 05説明文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HELPDは、画像を見て文章を作る大規模視覚言語モデルの「幻覚」を抑える手法である。ここでの幻覚とは、画像にない物を挙げるなど、画像と食い違う内容を生成することを指す。
物体名が画像にあるかだけで判定すると、文全体では妥当な関連表現まで誤りとみなす可能性がある。写真説明を業務記録に使う場合、実際の誤記と文脈に沿った表現を区別できるかが重要になる。
手法
HELPDは、学習中に生成した文と正解文から物体名を取り出し、物体名の一致度をF1値で測る。F1値は、一致した物体名の割合と、正解文の物体名を拾えた割合を合わせた点数である。さらにGPT-4が両文の意味を比べ、0～1の点数を付ける。例えば生成文に余分な「樹木」があれば、物体名と文意の両面で評価する。
二つの点数は、学習の後半にモデルの更新へ使う。文章の生成時には、次の単語候補の点数を調整するため、過去の文章と画像の各部分をどれだけ参照したかを示す「注意」を調べる。画像への注意を罰則計算に加え、生成済みの文章への偏りを抑える設計である。
新規性
HELPDは、生成文と正解文の物体名の一致度に、文全体の意味を比べた評価を加え、学習の後半でモデルに反映する。物体名だけでは捉えにくい、文脈上は妥当な表現も考慮する設計である。
文章を生成する際には、過去の文章への注意に加えて画像への注意も罰則の計算に使う。著者らの提案は、この学習方法と単語選択の調整を組み合わせた点にある。
従来手法との違い
物体の有無を中心に判定する方法では、文脈上は妥当な「捕食者」や「食べ物」といった表現も誤りとみなされ得る、と著者らは指摘する。HELPDは物体単位の評価に、文全体の意味を比べる評価を加える。
単語選択の処理はOperaを基にする。Operaが生成済みの文章への過度な注意から罰則を求めるのに対し、HELPDは画像部分への注意も計算に入れる。比較結果の適用範囲は、論文で試したモデルと評価条件に限られる。
実験結果
著者らはMSCOCO 2014とFlickr30kの学習集合から計5,000枚を選び、短い説明文を基にGPT-4で長い正解文を作成した。LLaVA-1.5-7bとmPLUG-Owl2-7bを各1エポック追加学習している。
MSCOCO検証集合のPOPE Random条件では、著者らの表によるとLLaVA-1.5のF1値は88.63から89.86になった。GAVIEの0～10点評価では、同モデルの画像との整合性をみるAccuracyが5.49から6.01、指示との関連性をみるRelevancyが7.56から7.98になった。いずれも現場写真での結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。建設現場の写真から、日報に添える短い説明文の下書きを作る。入力は現場写真と説明対象の指示、出力は写っている物と位置関係を述べた文とし、担当者が写真を見て確認・修正する。
試行には現場写真と確認済みの説明文を学習用に用意し、物体名と位置関係の正誤ラベルを評価用に付ける。必要なセンサーは写真を撮るカメラである。現場固有の名称に合わせて文例と評価基準を整える必要があり、この用途での効果は未検証である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。現場写真と担当者が確認した説明文を集め、学習用と評価用に分ける。評価用には、物体名と位置関係の正誤ラベルを付ける。入力に必要なセンサーは撮影カメラとし、まず追加学習前のモデルで同じ写真と指示から説明文を作る。
次に現場の名称に合わせて正解文を整え、HELPDの追加学習と生成時の調整を試す。未使用の写真で、存在しない物体への言及率、位置関係の誤記率、担当者の修正件数を基準モデルと比べる。説明文の長さも記録し、短文化による見かけ上の改善を確認する。
限界と課題
著者らは、物体を抽出する際の見落としや同義語による点数の低下が、物体単位の評価に影響し得ると推測している。また、文単位の評価にはGPT-4の判定を使うため、その判定結果が学習に反映される。
編集上の検証事項は、小さな物体や重なった物体を含む現場写真での誤記、現場用語の言い換えに対する採点の安定性、説明文の長さの変化である。示された評価だけから、異なる撮影条件や業務文書でも同じ結果になるとは判断できない。
出典
元のタイトル・要旨を確認する（英語）
HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding
Large Vision-Language Models (LVLMs) have shown remarkable performance on many visual-language tasks. However, these models still suffer from multimodal hallucination, which means the generation of objects or content that violates the images. Many existing work detects hallucination by directly judging whether an object exists in an image, overlooking the association between the object and semantics. To address this issue, we propose Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding (HELPD). This framework incorporates hallucination feedback at both object and sentence semantic levels. Remarkably, even with a marginal degree of training, this approach can alleviate over 15% of hallucination. Simultaneously, HELPD penalizes the output logits according to the image attention window to avoid being overly affected by generated text. HELPD can be seamlessly integrated with any LVLMs. Our experiments demonstrate that the proposed framework yields favorable results across multiple hallucination benchmarks. It effectively mitigates hallucination for different LVLMs and concurrently improves their text generation quality.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01