アーカイブ / VLM / Computer Vision
画像への質問に答えるAIを、言語モデルと画像認識モデルから作る
LLaVA
LLaVAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Table 1 : One example to illustrate the instruction-following data. The top block shows the contexts such as captions and boxes used to prompt GPT, and the bottom block shows the three types of responses. Note that the visual image is not used to prompt GPT, we only show it here as a reference.
概要
- 画像の説明文と物体の位置情報を言語版GPT-4に渡し、画像への質問と回答を158,000件作成した。
- COCOの30画像・90問を使った著者らの評価で、LLaVAのGPT-4に対する相対スコアは85.1だった。
- ScienceQAの正解率はLLaVA単独で90.92％。要旨の92.53％はGPT-4との組み合わせによる結果である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLaVAの仕組み
- 01画像と質問
- 02画像特徴を抽出
- 03言語表現へ変換
- 04回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像を扱うAIには、物体を見分けたり画像を説明したりする機能がある。一方、利用者が「何が不自然か」「どこにあるか」と自由に聞き、意図に沿った答えを得るには、画像理解と指示への対応を結び付ける必要がある。
言語モデルで使われてきた指示調整は、質問と望ましい回答の組で学習する方法だ。著者らは、画像と言語を組み合わせた指示データが少ないことに着目し、その作り方と学習への利用を検討した。
手法
学習データの作成では、COCOの画像に付いた複数の説明文と物体を囲む枠の情報を、言語版GPT-4に渡す。枠は物体の種類と位置を示す情報で、GPT-4は画像自体を見ない。これを基に、画像への質問と回答を、会話、詳しい説明、複雑な推論の三種類で生成した。
LLaVA本体は、画像から特徴を取り出すCLIPの視覚エンコーダーと、文章を作るLLaMAを線形層で接続する。まず画像と説明文の組で接続部分を学び、次に生成した指示データで接続部分と言語モデルを調整する。例えば駐車場の写真と「車はどこにあるか」を入力し、画像の特徴を質問と合わせて回答文に変える。
新規性
著者らの主張する進歩は、画像を直接読めない言語版GPT-4に、画像の説明文と物体の位置情報を渡し、画像に関する指示と回答の学習データを作った点にある。
そのデータで視覚モデルと言語モデルをつないだLLaVAを調整し、画像について会話する一つのモデルにした。学習データの生成方法と、完成したモデルの両方が提案の中心である。
従来手法との違い
従来の画像と言語のモデルには、画像を説明できても、質問の意図に合わせた返答を十分に学習していないものがあった。著者らが示すBLIP-2とOpenFlamingoの事例では、質問への回答より画像の描写に寄る傾向が見られた。
LLaVAでは画像に基づく会話、詳しい説明、複雑な推論を指示と回答の形で学習する。著者らの設定では、指示調整を行わない場合の相対スコア21.5に対し、全種類のデータを使うと85.1だった。ただし、比較事例だけで一般的な優劣は決められない。
実験結果
著者らは、COCO Val 2014から無作為に選んだ30画像に各三種類の質問を作り、計90問を評価した。言語版GPT-4が画像説明文と物体の枠から作った回答を比較対象とし、同じGPT-4が有用性、関連性、正確さ、詳しさを評点化した。LLaVAの全データ使用時の相対スコアは85.1、指示調整なしでは21.5だった。
ScienceQAでは、理由と選択肢の回答を予測するLLaVA単独の正解率を90.92％、既存の最高値を91.68％と報告した。LLaVAとGPT-4を組み合わせた92.53％は要旨に記載されている。単独モデルと組み合わせた方式の数値を混同しないことが重要だ。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検の写真を担当者が確認する際の、質問付きの下書き作成に使う。入力は現場写真と「見える物、位置関係、確認すべき点を分けて述べて」という質問。出力は画像から読み取れる事実と、担当者への確認事項を分けた文章にする。
担当者は写真と回答を並べて見て、物体の取り違えや、写真だけでは判断できない状態の断定を修正する。点検結果の確定は人が行い、モデルの回答は記録作成を始めるための候補として扱う。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：用途を写真への質問回答に絞り、担当者が答えを確認できる画像を少数集める。同じ質問をLLaVAと、現在使っている画像説明または手作業の手順で処理し、対象物、位置、質問への応答、根拠のない記述を項目別に記録する。
複雑な推論を要する質問と、画像から直接確認できる質問を分けて集計する。回答の採用率だけでなく、担当者が訂正した箇所と確認にかかった時間も測る。現場固有の写真で再現するかを確かめてから、用途を広げる。
限界と課題
著者らは初期実験として会話例と定量評価を示している。定量評価では、言語版GPT-4が回答の比較評価にも使われ、参照回答の作成には画像そのものではなく説明文と物体の位置情報が与えられた。相対スコアを現場での正答率と読むことはできない。
導入時の確認事項は、写真中の小さな対象、見えない部分、曖昧な質問への応答である。実例には画像にない内容を述べる可能性をうかがわせる回答もあり、根拠となる画像領域を人が確かめる運用が必要になる。
出典
元のタイトル・要旨を確認する（英語）
Visual Instruction Tuning
Instruction tuning large language models (LLMs) using machine-generated instruction-following data has improved zero-shot capabilities on new tasks, but the idea is less explored in the multimodal field. In this paper, we present the first attempt to use language-only GPT-4 to generate multimodal language-image instruction-following data. By instruction tuning on such generated data, we introduce LLaVA: Large Language and Vision Assistant, an end-to-end trained large multimodal model that connects a vision encoder and LLM for general-purpose visual and language understanding.Our early experiments show that LLaVA demonstrates impressive multimodel chat abilities, sometimes exhibiting the behaviors of multimodal GPT-4 on unseen images/instructions, and yields a 85.1% relative score compared with GPT-4 on a synthetic multimodal instruction-following dataset. When fine-tuned on Science QA, the synergy of LLaVA and GPT-4 achieves a new state-of-the-art accuracy of 92.53%. We make GPT-4 generated visual instruction tuning data, our model and code base publicly available.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29