新着研究 / RAG / VLM
図表入り財務文書のRAGをページ単位で検証、検索と回答への入力形式を切り分ける
VisR-RAG-Fin
VisR-RAG-Finの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . End-to-end construction pipeline of the VisR-RAG-Fin benchmark.
概要
- 財務文書のレイアウトと視覚情報を保持したページ単位の質問応答基盤を構築した。
- 文字・画像・両者併用を、検索と回答生成の各段階で比較する。
- 採点モデルと人の100回答での一致率は84%であり、評価自体にも不確かさがある。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VisR-RAG-Finの仕組み
- 01財務文書ページ
- 02根拠付き質問を作成
- 03文字・画像で検索
- 04文脈形式を選択
- 05回答と採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VisR-RAG-Finは、表やグラフを含む財務文書を検索し、その根拠から回答するシステムを検証する基盤である。文書を文字列へ平坦化すると、表の列の対応や図の配置など、人がページから読み取る関係が失われることがある。
一方、ページ画像を検索するだけで回答が良くなるとは限らない。必要なページを探す段階と、取得したページを文字・画像のどちらで読ませるかという段階を分け、最終的な正答まで確かめる必要がある。
手法
文書の元のレイアウトを保ち、視覚情報の多いページを選んで人が確認する。作成した質問と回答も人が見直し、対応する根拠ページを付ける。例えば表の数値を尋ねる質問なら、表が載るページが検索の正解となる。
検索側は文字中心、画像を使う方式などを比較し、生成側にも文字、画像、併用の文脈を与える。正解ページを直接渡す条件は、検索失敗を除いて回答器の能力を見る基準となる。検索を介した条件と並べることで、見つけられなかった問題と、見つけても読めなかった問題を切り分ける。
新規性
視覚的に複雑な企業文書のRAGを、原文ページの構造を残して評価する点に主眼がある。文字だけの検索精度で終わらず、検索結果を受け取る生成モデルの入力形式まで比較対象に含める。
共通の質問と根拠ページを使って、検索表現と生成文脈の組合せを調べられる。これは財務業務の自動化を直接保証するものではなく、設計上の選択がどの段階で効くかを検査するための土台である。
従来手法との違い
文字の埋め込みを使う検索器に加え、ページ画像の検索器や複数ベクトルの照合方式を調べる。複数ベクトル方式はページや文章を一つの値の列だけで代表させず、細部の対応を扱う設計である。
回答生成は正解ページを渡す基準条件と検索結果に基づく条件を比較する。ただし後者は正解ページが上位k件にない場合を直接不正解と数える。生成器が別ページから偶然正答する場合まで同じように評価する一般的な運用試験とは異なる。
実験結果
検索は根拠ページの順位に基づくnDCG@1とnDCG@3で測り、主に上位三件を見る。生成はGPT-5.2の二値採点を使い、質問、正解、生成回答から完全正答かを判定している。
著者らは条件を分けて抽出した100回答を人手でも確認し、一致率84%、Cohenのκが0.68と報告した。不一致では人が正答とした14件を誤答と採点し、逆は2件だった。したがって生成得点は自動採点の保守的な誤りも含む値として読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内の報告書検索で、表の年次や単位を取り違える原因を診断する。入力は版を固定した報告書と根拠ページ付きの質問、出力は検索失敗・読解失敗・採点不一致の一覧とする。
まず同じページを文字と画像の両形式で読ませて差を確認し、その後に検索方式を比較する。担当者が誤りの種類を見て、解析処理を直すべきか、画像入力を残すべきかを判断するための評価工程として使う。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:文章、表、グラフを根拠とする質問を分け、現行の文字RAGを基準にする。検索器と生成器を一度に替えず、正解ページを直接渡す試験から始め、読解の限界を先に測る。
次に同じ上位件数で検索を介し、ページ回収率、完全正答率、処理時間、入力費用を記録する。自動採点の一部を人が再確認し、特に単位や年度の違いを点検する。根拠ページを表示できるかも合格条件に含める。
限界と課題
確認できた本文の範囲では、財務文書の特定の構成とページ単位の質問応答を扱う。複数ページの集計、社内特有の書式、文書更新の影響を同じ成績で保証するものではない。
編集上の確認点は、人手確認した質問が実際の利用頻度や難しさを代表するか、採点器が図表の細かな数値差を安定して見分けるかである。採点器は一条件では生成器でもあるため、モデル名を隠す工夫と人手の照合を踏まえつつ、別の採点手段でも傾向を確認したい。
出典
元のタイトル・要旨を確認する(英語)
VisR-RAG-Fin: Benchmarking Multimodal RAG over Visually Rich Financial Documents
Enterprise documents such as financial reports are increasingly processed by automated systems, yet they are primarily designed for human reading and exhibit complex visual structure, combining dense text with tables, charts, diagrams, and rich layouts. These characteristics pose significant challenges for Retrieval-Augmented Generation (RAG) systems, which must retrieve relevant pages and leverage visual and structural information during answer generation. Despite recent advances in multimodal retrieval and vision-language models, there remains a limited understanding of how design choices across retrieval and generation components affect end-to-end RAG performance on visually rich documents. In this paper, we present a comprehensive empirical study of multimodal RAG for page-level Question Answering (QA) over financial documents. We introduce VisR-RAG-Fin (Visually Rich RAG for Finance), an open-source benchmark constructed through a general pipeline for visually rich documents that preserves original layout and visual content. Using this benchmark, we systematically analyze retrieval and generation behavior under text-only, multimodal, and hybrid configurations, providing a foundation for rigorous evaluation of RAG systems on complex enterprise document collections. Overall, this work provides actionable insights for practitioners designing and evaluating multimodal RAG pipelines over complex, visually rich enterprise documents.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-20




