アーカイブ / VLM / Generative AI
文章から作った画像で視覚的含意を学習できるか：実写画像との比較
Synthetic-NLI-VE
Synthetic-NLI-VEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
A wedding party walks out of a building.
概要
- SNLIの前提文からStable Diffusionで画像を作り、元の仮説文・ラベルと組み合わせた。
- SNLI-VEの実写画像テストで、著者らが報告したF1スコアは実写学習0.703、生成画像学習0.686だった。
- SICK-VTEの実写画像への転用では両モデルの正解率が多数派基準を下回り、適用先ごとの検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Synthetic-NLI-VEの仕組み
- 01SNLIの前提文
- 02画像を生成
- 03仮説文と結合
- 04判定用の学習データ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
視覚的含意は、画像を見て文章の内容が成立するかを判定する課題である。元となる自然言語推論では、前提文と仮説文の関係に成立・中立・矛盾のラベルを付ける。視覚的含意では前提文を画像に置き換える。
著者らによると、画像・仮説文・ラベルをそろえたデータは文章同士のデータより少なく、人手で増やすには労力がかかる。そこで既存の文章データから画像を生成し、判定器の学習に使えるかを調べた。
手法
著者らはSNLIの前提文を画像生成モデルStable Diffusionへの指示文として使い、前提文ごとに画像を一枚作る。例えば「結婚式の一行が建物から出る」という文から画像を作り、元の組にある仮説文と判定ラベルを対応させる。こうして、文章の前提を生成画像に置き換えたSynthetic-NLI-VEを構成する。
訓練ではCLIPを使い、画像と仮説文をそれぞれ特徴ベクトルという数値列に変換する。両者の数値列と、その和・差・要素ごとの積を連結して、MLPという層を重ねた分類器へ入力する。分類器の出力は成立・中立・矛盾の三種類で、著者らは実写画像で学習した同構成の分類器と比較した。
新規性
著者らは、文章同士の推論データSNLIの前提文を画像生成の指示文に使い、仮説文と判定ラベルを引き継いだSynthetic-NLI-VEを作成した。元のSNLI-VEでは複数の前提文が同じ実写画像に対応するが、新データでは前提文ごとに画像を生成する。
生成画像と元画像の類似性に加え、生成画像で学習した分類器を実写画像で試している。画像が似ているかだけでなく、判定の訓練に使えるかを調べた点が検証の中心である。
従来手法との違い
比較の基準は、SNLI-VEの実写画像で学習した同じCLIPベースの分類器である。著者らは学習画像を実写と生成画像で変え、元の実写画像と生成画像の各テスト集合で結果を比較した。分類器の構成は共通である。
さらに、SNLI-VEで学習した両モデルをSICK-VTEにも適用した。これは別データへの転用を調べる比較であり、対象は同じ画像源に由来するデータセットに限られる。別の画像源や分類方式に対する優位性は示されていない。
実験結果
著者らはSNLI-VEの訓練・開発・テスト分割を使い、100エポックの学習中に開発集合で選んだモデルをテストした。元の実写画像を使うテストでは、実写画像で学習した場合のF1スコアが0.703、生成画像で学習した場合が0.686だった。対応する正解率は70.3％と68.9％である。
両モデルをSICK-VTEの実写画像で試すと、F1スコアは順に0.400と0.384、正解率は50.7％と47.2％だった。SICK-VTEは成立と矛盾だけを含み、著者らが示す多数派のみを予測する基準の正解率は66.57％である。元画像と生成画像の類似性も調べたが、それだけで個々の判定ラベルの正しさは確定できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業現場の写真と点検文から、文の内容が写真に合うかを判定する用途を想定する。必要な元データは、現場の実写写真、場面を記述する文、判定対象の点検文、成立・中立・矛盾の正解ラベルである。写真が不足する場面の記述文から画像を作り、点検文とラベルを組にして学習候補にする。
入力は生成画像と点検文、出力は三つの判定のいずれかとする。既存写真を使う検証なら追加センサーは要らない。現場に合わせた画像生成とラベルの見直しを行い、装備や人数など判定に必要な細部を人が確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の実写写真、写真の場面を表す文、判定対象の文、成立・中立・矛盾の正解ラベルを用意する。写真が少ない場面の文から画像を生成し、文とラベルを組にする。既存写真を使う範囲では追加センサーを前提とせず、生成画像の内容に合わせてラベルを人が再確認する。
同じ分類方式で、実写のみの学習と生成画像を加えた学習を比べる。評価には学習に使っていない実写写真を使い、ラベル別のF1スコアと誤判定例を記録する。特に人数や装備の有無が文と画像で一致するかを点検し、使える生成データの範囲を決める。
限界と課題
著者らが明記する制約は、分類の検証がCLIPを用いる方式に限られることと、転用先を含む二つのデータセットがともにFlickr30Kを基にすることである。別方式の視覚的含意モデルや異なる画像源への結果の広がりは、今回の実験からは判断できない。
編集上の検証事項は、生成画像が前提文の人数・物・動作を保ち、引き継いだラベルが画像に対しても正しいかである。対象業務の実写画像を学習用と評価用に分け、誤判定がどの種類の文や場面に集中するかを確認したい。
出典
元のタイトル・要旨を確認する（英語）
Dataset Creation for Visual Entailment using Generative AI
In this paper we present and validate a new synthetic dataset for training visual entailment models. Existing datasets for visual entailment are small and sparse compared to datasets for textual entailment. Manually creating datasets is labor-intensive. We base our synthetic dataset on the SNLI dataset for textual entailment. We take the premise text from SNLI as input prompts in a generative image model, Stable Diffusion, creating an image to replace each textual premise. We evaluate our dataset both intrinsically and extrinsically. For extrinsic evaluation, we evaluate the validity of the generated images by using them as training data for a visual entailment classifier based on CLIP feature vectors. We find that synthetic training data only leads to a slight drop in quality on SNLI-VE, with an F-score 0.686 compared to 0.703 when trained on real data. We also compare the quality of our generated training data to original training data on another dataset: SICK-VTE. Again, there is only a slight drop in F-score: from 0.400 to 0.384. These results indicate that in settings with data sparsity, synthetic data can be a promising solution for training visual entailment models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01