アーカイブ / VLM / Computer Vision
画像説明の誤記述を抑えるため、次の語への画像注意を調整するAdaVBoost
AdaVBoost
AdaVBoostの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Examples of under-boosted and over-boosted hallucinated tokens in LLaVA-NeXT, Qwen3-VL and InternVL3.5.
概要
- AdaVBoostは予測の不確かさと画像による裏付けからリスクを推定し、次の語を作る際の画像への注意を調整する。
- 著者らのCHAIR評価では、LLaVA-NeXT-7BのCHAIRsが無処理33.80から28.80になった一方、F1は71.44から71.18になった。
- 設備写真への適用は編集上の応用案であり、現場の正解ラベルを使って誤記述、記述の欠落、処理時間を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AdaVBoostの仕組み
- 01画像と質問
- 02語別の画像根拠を計算
- 03注意を調整して生成
- 04次語の倍率を更新
- 05回答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像と言葉を一緒に扱う大規模視覚言語モデルは、写真にない物や属性を説明文に書くことがある。画像と食い違うこの種の生成は「ハルシネーション」と呼ばれる。点検写真の説明を業務で使う場合、もっともらしい誤記述も担当者による確認が必要になる。
対策の一つは、回答を作るときに画像情報への注意を強める方法である。著者らは、必要な強さが語ごとに異なり、一定の倍率では誤りが残る場合と新たに生じる場合があると報告する。
手法
AdaVBoostは画像と質問文を受け取り、回答を一語ずつ作る際の注意を調整する。最初に、画像を分割して表した内部情報「視覚トークン」から、候補語ごとの画像による裏付けの強さを計算する。本文の例では、画像にない「カメラ」という語は、モデルが確信を持って予測しても画像からの裏付けが弱い。
生成の各段階では、候補語の確率の散らばりを表す「予測エントロピー」と、画像による裏付けの弱さを合わせ、VGEというリスク値にする。その値から次の語を作る際の画像への注意の倍率を決め、入力文への注意も抑える。初回はリスクをゼロから始める。VGEが参照する画像根拠は最初に一度計算し、生成中は更新しない。
新規性
AdaVBoostの主張は、画像のどこに注意を向けるかに加え、生成の段階ごとに画像への注意をどれだけ強めるかを決める点にある。予測の不確かさだけでは見逃す、確信を持って述べた誤った語にも、画像による裏付けの弱さを使って対応する。
各段階のリスクから次の語に使う倍率を決め、リスクが低ければ介入を弱める。入力文への注意を抑える操作も併用する構成で、著者らは追加学習や生成のための追加のモデル実行を要しないと説明する。
従来手法との違い
従来の画像注意強調法は、画像を表す内部情報の選び方を工夫しつつ、生成の各段階で一定の強さを適用する。著者らの予備分析では、同じ倍率がある語には弱すぎ、別の語には強すぎて新たな誤記述を生んだ。
AdaVBoostは生成中に推定したリスクを次の語の倍率へ反映する。評価表では無処理、PAI、VAF、VGAと比較されている。ただし全指標で勝るわけではなく、LLaVA-NeXTのCHAIR評価ではF1が無処理71.44、本手法71.18だった。
実験結果
著者らはLLaVA-NeXT-7B、Qwen3-VL-8B、InternVL3.5-8Bで、画像説明の誤記述を調べるCHAIRやSHRなどを評価した。CHAIR表のCHAIRsは低いほど良く、LLaVA-NeXTでは無処理33.80、本手法28.80、Qwen3-VLでは無処理58.80、本手法46.00だった。
SHR表ではGPT-5-miniを判定役に使い、LLaVA-NeXTのHSRは無処理31.40、本手法30.70だった。別の予備分析では、AMBERから無作為に選んだ200例をLLaVA-NeXT-7Bで調べ、固定倍率1.2で元の誤った520語のうち358語が訂正され、新たな誤った302語が生じたと報告する。評価用の分割などの詳細は確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検写真から、担当者が確認する一次説明文を作る。入力は写真と「写っている機器と確認できる状態を記す」という質問文、出力は短い説明文とする。画像にない部品や状態の記述を減らせるかを調べる用途であり、現場での効果は未検証である。
本手法自体に追加の学習用写真は要らない。一方、評価には利用可能な現場写真、写っている対象と属性の正解ラベル、人が確認した参照文が必要になる。入力センサーは写真を撮るカメラとし、機器の語彙や質問文を現場に合わせ、出力は人が写真と照合する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な設備写真と質問文を小規模に集め、対象物と属性の正解ラベル、人が確認した説明文を用意する。本手法用の追加学習データは要らないが、評価用のラベルは必要である。入力センサーは写真を撮るカメラとし、対象語彙と質問文を現場に合わせる。
同じ写真と質問文を無処理とAdaVBoostで処理し、画像にない対象や属性の記述件数、正しい記述の欠落件数、回答までの時間を比べる。判定者は出力条件を伏せて写真とラベルを照合する。実装には、生成時の注意を変更できる画像対応モデルが必要になる。
限界と課題
著者らの予備分析では、画像への注意を強めるだけでは訂正できなかった27語のうち、入力文への注意も抑えると22語が訂正された。これはAMBERから選んだ例を使う分析内の観察であり、他の写真や用途で同じ割合になることは示していない。
編集上の検証事項は、写真の種類が変わったときの誤記述、正しい記述の欠落、処理時間である。また、入力の原題と要旨はSAVAA、確認できた本文と評価表はAdaVBoostという名称を使っている。両者の関係はこの範囲では確定できないため、記事では手法と表が一致する本文の名称を用いた。
出典
元のタイトル・要旨を確認する（英語）
SAVAA: Mitigating Hallucinations in LVLMs via Step-wise Adaptive Visual Attention Amplification
A line of recent training-free methods for mitigating hallucinations in large vision-language models (LVLMs) operates by amplifying attention to visual tokens during autoregressive generation within a single forward pass. We refer to this paradigm as visual attention amplification (VAA). In this paper, we identify a dual failure pattern in existing VAA methods caused by their use of a fixed amplification factor across generation steps: it can be too weak at some steps, leaving hallucinations unresolved, while too strong at others, introducing new hallucinations. Motivated by this finding, we propose Step-wise Adaptive Visual Attention Amplification (SAVAA), a new VAA framework that estimates hallucination risk for each generated token and uses the estimated risk to adaptively amplify visual attention at the next generation step. Specifically, we introduce Visual Grounding Entropy (VGE), a lightweight hallucination-risk estimator that augments predictive entropy with visual grounding, assigning higher risk to tokens that are uncertain, weakly grounded in the image, or both. Guided by VGE, SAVAA uses the estimated risk to calibrate the VAA factor for the next generation step, applying stronger amplification to higher-risk steps and weaker amplification to lower-risk steps. Across LLaVA-NeXT-7B, Qwen3-VL-8B, and InternVL3.5-8B, SAVAA significantly outperforms baseline methods on generative hallucination benchmarks such as CHAIR, SHR and AMBER. Code is available at: https://github.com/JiachengZ01/SAVVA.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01