アーカイブ / VLM
画像と説明文の一致判定で、文章だけに残る正誤の手掛かりを減らす
LLaVA-score
LLaVA-scoreの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Left: Qualitative examples for image-text alignment prediction, where our approach can distinguish fundamental concepts such as positioning, counting, and attributes. Right: Our approach shows superior performance in image-text alignment.
概要
- 物や属性の置換と語の関係の入れ替えで、学習用の誤った説明文を作る。
- 文章だけで正誤を高い確信度で判定できる例を除き、画像と文章を合わせて判定するモデルを調整する。
- 著者らの比較ではWinogroundの組の得点が34.25から47.25になった一方、SeeTRUEのEditBenchのROC-AUCは78.3から77.7だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLaVA-scoreの仕組み
- 01正例画像と説明文
- 02置換・入替の誤文生成
- 03文章のみで偏り除去
- 04LLaVA調整・一致点数
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像と説明文が一致するかを判定できれば、画像と言葉の組を使う学習データの点検や、生成画像の選別に役立つ。物の名前が合っていても、数や色、左右の関係が違えば説明は正しくない。
学習用に作る誤った説明文へ特定の単語が偏ると、モデルは画像を見ずに文章だけで正誤を推測できる。著者らは、正しい文と誤った文の間にあるこの偏りを減らそうとした。
手法
正しい画像・説明文の組から、言語モデルで二種類の誤文を作る。一つは「猫」を「犬」に変えるような語の置換、もう一つは「リンゴがバナナの左」を「バナナがリンゴの左」に変えるような関係の入れ替えだ。元の画像に合わない説明文を学習用の負例とする。
次に、画像を見ないBERTという文章分類モデルで正誤を予測する。データを五分割し、別の分割で学習した分類器が高い確信度で正しく当てた例を、正例・負例それぞれから上位30％除く。残った組でLLaVA-1.5を調整し、判定時は画像と文を入力して、次の語として「Yes」と「No」が出る強さから一致点数を計算する。
新規性
著者らが指摘するのは、誤った説明文が一文ずつ自然でも、正しい説明文との間に単語の出現傾向などの差が残ることだ。この差を使えば、画像を見ずに正誤を推測できてしまう。
提案法は、物や属性の置換と語の関係の入れ替えを併用する。さらに文章だけの分類器が高い確信度で正しく判定した例を除き、画像と文章を合わせて判断する学習に使う。
従来手法との違い
CLIPスコアは画像と文章の特徴の近さを測る。著者らは、従来の画像と言葉のモデルが「馬が草を食べる」と「草が馬を食べる」のような関係の違いを捉えにくい例を挙げる。比較対象には、語を並べ替えた誤文で学習するNegCLIPもある。
本手法では、言語モデルで二種類の誤文を作り、文章だけで正誤を判定しやすい例を除いてLLaVA-1.5を調整する。差は評価データと指標ごとに確認する必要がある。
実験結果
著者らは、Winogroundの画像・文章・組の得点、SeeTRUEのROC-AUC、SugarCrepeの正解率、MagicBrushの組の得点で比較した。LLaVA-1.5から提案法への変化は、Winogroundの組の得点で34.25から47.25、SugarCrepeのswap正解率で88.3から94.9だった。
一方、SeeTRUEのEditBenchのROC-AUCは78.3から77.7になった。学習にはCOCOの正しい画像・文章の組とSeeTRUEのcoco_train_t2iの一部を使い、評価用データと画像・説明文が重ならないようにしたと著者らは記す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：広告制作で、同じ指示文から作った複数の画像を、指示との一致点数で並べる。入力は候補画像と「赤い箱の左に青い瓶」などの文、出力は候補ごとの点数と確認順である。担当者が色と位置関係を最終確認する。
追加調整には、自社の画像と正しい説明文、物や位置を変えた誤文、各組の正誤ラベルが要る。ラベルは画像を見て付ける。画像以外の追加センサーは想定せず、順位が改善するかは実データで確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の指示文と候補画像を集め、担当者が各組に一致・不一致のラベルを付ける。物の置換や左右の入れ替えを含め、元のLLaVA-1.5による順位と、追加調整後の順位を同じ画像群で比べる。
追加調整には、正しい画像・説明文の組、そこから作る誤文、各組の正誤ラベルが必要だ。入力画像以外のセンサーは想定しない。文章だけで判定する基準も置き、上位候補の一致率、色・数・位置ごとの誤り、人手で確認する件数を測る。
限界と課題
著者らは、短い説明文では、元の語を入れ替えても意味の異なる自然な文を作れない場合があると述べる。入れ替えた文が妥当かを確かめる工程も必要としている。
編集上の検証事項は、文章だけの分類器による除去後にも業務固有の語彙の偏りが残るか、色・数・位置の誤判定がどれほど起きるかである。確認できた本文の範囲では、除去後の全例で画像を使った判断が保証されるとは示されていない。
出典
元のタイトル・要旨を確認する（英語）
Removing Distributional Discrepancies in Captions Improves Image-Text Alignment
In this paper, we introduce a model designed to improve the prediction of image-text alignment, targeting the challenge of compositional understanding in current visual-language models. Our approach focuses on generating high-quality training datasets for the alignment task by producing mixed-type negative captions derived from positive ones. Critically, we address the distribution imbalance between positive and negative captions to ensure that the alignment model does not depend solely on textual information but also considers the associated images for predicting alignment accurately. By creating this enhanced training data, we fine-tune an existing leading visual-language model to boost its capability in understanding alignment. Our model significantly outperforms current top-performing methods across various datasets. We also demonstrate the applicability of our model by ranking the images generated by text-to-image models based on text alignment. Project page: \url{https://yuheng-li.github.io/LLaVA-score/}
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01