アーカイブ / VLM / Computer Vision
画像にない物体を含む説明文を見分ける、CLIPの評価と追加学習
OHD-Caps and object-level contrastive learning
OHD-Caps and object-level contrastive learningの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The pipeline of our benchmark creation process. For an image, we first use SEEM Zou et al. (2023) to identify objects within the image and obtain illusory objects that do not exist in the picture through different sampling strategies. Then we ask GPT to insert or delete objects in the original sentences to create negative samples. We provide both positive and negative samples to the CLIP model to observe if the model predicts the positive samples as having the highest score. This image is from the NoCaps dataset, and the model is CLIP ViT-B/32.
概要
- OHD-Capsは画像ごとに正解文１件と、物体の記述を変えた誤文27件を用い、CLIP単体の候補文選択を評価する。
- 著者らのOHD-Caps評価では、CLIP ViT-B/32の３集合平均が追加学習により14.3%から82.5%になった。
- 改良した画像エンコーダーを使うLLaVA-1.5では、NoCapsを加えたPOPEのLoRA方式でF1値が80.2から83.2になった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OHD-Caps and object-level contrastive learningの仕組み
- 01画像と正解文
- 02物体を加減した誤文
- 03CLIPの追加学習
- 04候補文の順位
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
著者らは、画像にない物体を含む説明文をCLIPが見分けられるか調べ、追加学習で改善を試みる。CLIPは画像と文章の対応度を計算するモデルで、大規模画像言語モデルの画像を読む部品にも使われる。
文章生成モデルが存在しない物体を答えた場合、誤りが画像の読み取りと文章生成のどちらで生じたかは分かりにくい。そこで正しい説明文と物体名を変えた誤文をCLIP単体に比較させ、画像を読む段階の課題を測る。
手法
画像と正解文を用意し、SEEMで画像内の物体を抽出する。画像にない物体を選んで文に足すか、写っている物体の記述を削り、GPT-4で誤文を作る。例えば机だけが写る画像の文に、存在しない椅子を加える。OHD-Capsでは画像ごとに正解文１件と誤文27件を比べる。
追加学習では、正解の画像と文を近づけ、誤った組を遠ざける「対照学習」を使う。同じ画像の誤文と別画像の文も比べ、正解文の類似度が最も高く、誤文が別画像の文より画像に近いという順序を促す。類似度に一定の差を求める損失も加え、学習後は候補文の得点を順位付けする。
新規性
著者らは、正しい説明文に物体を追加・削除した誤文を添えるOHD-Capsを作り、CLIP単体が正解文を選べるか調べた。文章生成前の画像と文の対応付けを直接評価できる。
追加学習では、正解文、同じ画像から作った誤文、別画像の文の類似度に順序を付ける。誤文にも画像と合う情報が残ることを学習目標に反映した点が特徴である。
従来手法との違い
通常のCLIPは対応する画像と文を近づけ、主に同じ学習単位にある別画像の文を遠ざける。著者らは、別画像の文との差が大きい場合、物体名だけが違う文を区別する練習になりにくいと分析した。
提案法は元の学習目標に、同じ画像の正解文を編集した誤文と、類似度の差を保つ損失を加える。OHD-CapsではNegCLIP、CECLIPとも比較するが、その数値が示すのは同ベンチマークでの候補文選択性能である。
実験結果
著者らはCOCO、Flickr30K、NoCapsから各500画像を評価に使い、正解文が28候補中で最高得点となる割合を測った。CLIP ViT-B/32の３集合平均は14.3%、追加学習後は82.5%。比較対象のNegCLIPは28.6%、CECLIPは39.0%だった。
著者らは改良した画像エンコーダーをLLaVA-1.5に組み込み、NoCapsを加えたPOPEの物体有無質問も評価した。LoRA方式で再学習した場合のNoCapsのF1値は80.2から83.2。表に示された６つの画像分類データセットでは、B/32のゼロショット平均正解率が65.6%から66.0%だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検写真に添える報告文の物体名を確認する。入力は写真と複数の報告文候補、出力は各候補の一致度と、担当者が原画像で確認する候補とする。文の生成は別工程で行う。
適応には対象設備の写真、人が物体の有無を確認した正解文と誤文のラベルが要る。画像は既存の撮影写真を使う想定で、追加センサーの要否は現場で確認する。対象設備の名称を使って誤文を作り、人が点検する。現場での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象設備の写真と、人が物体の有無を確認した正解文を集める。物体を足す・削る誤文を作り、各文の正誤ラベルを人が点検する。入力は画像と文で、必要な撮影センサーの仕様は本文に示されていない。
設備の名称に合わせて誤文を調整し、元のCLIPと追加学習後のCLIPに同じ候補を選ばせる。正解文を最上位にした割合を比較し、別の日や設備の写真でも測る。誤文の見逃し、正しい文への誤警告、ラベル点検に要した作業量も記録する。
限界と課題
著者らの問題分析では、元のCLIPの学習に使う説明文は短く雑音を含み、別画像から取る誤文は正解文と大きく違うため、細かな物体の区別を学びにくい。これは提案法そのものの限界を測った結果ではない。
編集上の検証事項は、自動生成した誤文が本当に画像と食い違うか、対象業務の物体名でも選択性能が保たれるかである。本文は途中で途切れており、別の画像言語モデルや点検写真への効果は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models
Large Vision-Language Models (LVLMs) have achieved impressive performance, yet research has pointed out a serious issue with object hallucinations within these models. However, there is no clear conclusion as to which part of the model these hallucinations originate from. In this paper, we present an in-depth investigation into the object hallucination problem specifically within the CLIP model, which serves as the backbone for many state-of-the-art vision-language systems. We unveil that even in isolation, the CLIP model is prone to object hallucinations, suggesting that the hallucination problem is not solely due to the interaction between vision and language modalities. To address this, we propose a counterfactual data augmentation method by creating negative samples with a variety of hallucination issues. We demonstrate that our method can effectively mitigate object hallucinations for CLIP model, and we show the the enhanced model can be employed as a visual encoder, effectively alleviating the object hallucination issue in LVLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01