アーカイブ / VLM
文書への質問応答を、答えの種類と記載位置から評価するSMuDGE
SMuDGE
SMuDGEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Tabular snippet.
概要
- 文字列の近さだけでなく、答えの種類と文書内の記載位置を使って文書質問応答を採点する。
- 著者らは4データセットで分析し、DocVQA上位10モデルでは評価方法によって人間とQWen2-VL以外の順位が動いたと報告した。
- 請求書などへの適用には、正解ラベル、文字認識による語と位置の情報を用意し、人の判断との一致を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SMuDGEの仕組み
- 01文書画像と回答
- 02語と位置を照合
- 03種類別に一致判定
- 04重み付き点数
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SMuDGEは、文書画像への質問に対するモデルの回答を採点する方法だ。文書には文章だけでなく表や配置もあり、同じような文字でも記載箇所が違えば別の答えになる。従来の文字列中心の採点では、数値を読み違えた回答にも点数が付くことがある。
文字列の比較だけでは、回答が元の文書に書かれているかも分からない。請求書などで回答を利用するには、正解との一致に加えて、どの記載を根拠にした回答かを評価できることが役立つ。
手法
入力は質問、正解、モデルの回答、文字認識で得た文書内の語とその位置を示す枠である。正解と回答に対応する連続した語を文書内で探し、各枠の中心間の距離をページの大きさで補正して位置の点数にする。回答に十分近い語列が見つからない場合、位置の点数はゼロになる。
次に、正解が文章なら文字列の類似度、数値なら値の一致、両方を含むなら文章と数値を分けて採点する。混合した答えでは数値側を強く重み付けするため、「up to 12 milligrams」と「up to 12 mgs」の表記差を、数値の誤りとは分けて扱える。最後に種類別の一致点と位置の点数を、設定した重みで合成する。
新規性
SMuDGEは、正解と回答の文字列の近さに加え、数値を含む答えの意味上の違いと、回答が文書内のどこにあるかを点数に反映する。文字が似ていても数値が違う回答と、文書内の別の箇所を拾った回答を区別できる設計だ。
種類別の一致点と位置の点数を合成する際の重みは変更できる。著者らは、正解が入力文書中に記載されている抽出型の質問応答を対象として、この評価方法を提案している。
従来手法との違い
従来のANLSは、正解と回答の文字列を直すのに必要な操作数に基づく類似度を平均する指標だ。論文の例では、正解「12」に対する「26」は文書に見当たらなくても、文字が一つ共通するためNLSで0.5点となる。一方、文書中の別の数値「8.5」は0点だった。
SMuDGEでは数値の一致と文書内の位置を加味し、この例の「26」は総合点0、「8.5」は0.01となる。著者らが言及する先行指標ANLS*も答えのデータ型を考慮するが、文書内での位置を評価する設計ではない。
実験結果
著者らはDocVQAの5,130問、InfographicVQAの3,272件、MP-DocVQAの5,019問、DUDEの2,552件を用いた。DocVQAではYes／No質問、InfographicVQAでは複数箇所から答える事例を除外し、DUDEは単一箇所から抜き出す質問に限った。
著者らによると、重みを0.25にしたDocVQA上位10モデルの再評価では、人間とQWen2-VL以外の順位が少なくとも一つ動いた。この重みはDUDEの信頼度と期待較正誤差の分析から選ばれたため、DUDEはその値を使う順位分析から除外している。人の判断との比較も報告するが、確認できた本文の範囲では集計値は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：請求書画像への「請求額はいくらか」という質問に対し、複数モデルの回答を比較する。請求書画像、質問、担当者が付けた正解額、各回答、文字認識で得た語と位置を入力し、各回答の点数と確認すべき事例を出力する。
評価指標自体の学習用データは想定せず、対象帳票の画像と正解ラベルを用意する。追加センサーは想定せず、画像から文字認識結果を得る。金額表記に合わせた判定と重みの調整が必要で、この点数が業務上の誤りを捉えるかは別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の請求書画像を集め、担当者が金額の正解と記載箇所を付ける。画像、質問、回答候補、文字認識で得た語と位置をそろえ、同じ事例について従来のANLSとSMuDGEを計算する。
評価指標自体の学習用データや追加センサーは想定せず、必要なのは正解ラベル付きの対象画像と文字認識結果だ。まず位置を特定できなかった割合と、金額の取り違え・文書にない回答に対する両指標の順位を測る。別に分けた検証用事例で重みを調整し、担当者の判断との一致を確認する。
限界と課題
著者らが明示する対象は、正解が入力文書に記載された抽出型の質問応答である。また、文字認識の品質は提供元によって異なると述べている。文書にない情報を推論して答える問いについて、この結果をそのまま当てはめることはできない。
編集上の検証事項として、正解と回答の記載位置を自社文書で安定して特定できるか、近くの別項目を答えた場合にどの点数になるかを調べたい。位置の点数は回答の正確さそのものではない。確認できた本文の範囲では、人による判定との比較について集計値まで確認できない。
出典
元のタイトル・要旨を確認する（英語）
Where is this coming from? Making groundedness count in the evaluation of Document VQA models
Document Visual Question Answering (VQA) models have evolved at an impressive rate over the past few years, coming close to or matching human performance on some benchmarks. We argue that common evaluation metrics used by popular benchmarks do not account for the semantic and multimodal groundedness of a model's outputs. As a result, hallucinations and major semantic errors are treated the same way as well-grounded outputs, and the evaluation scores do not reflect the reasoning capabilities of the model. In response, we propose a new evaluation methodology that accounts for the groundedness of predictions with regard to the semantic characteristics of the output as well as the multimodal placement of the output within the input document. Our proposed methodology is parameterized in such a way that users can configure the score according to their preferences. We validate our scoring methodology using human judgment and show its potential impact on existing popular leaderboards. Through extensive analyses, we demonstrate that our proposed method produces scores that are a better indicator of a model's robustness and tends to give higher rewards to better-calibrated answers.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01