アーカイブ / VLM / LLM
図表から引用論文を探し、その本文で答える科学論文QA評価
M3SciQA
M3SciQAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: ( Top ) The common workflow of comparative analysis in scientific research, particularly when a result, such as a figure/table in the Information Value paper (anchor paper) ( Giulianelli et al., 2023 ) , prompts further examination of related research, such as details from DialoGPT (reference paper) ( Zhang et al., 2020b ) . (Bottom) A demonstration of the workflow for constructing a visual context question , reference-based question , and combined question.
概要
- 図表から引用論文を特定し、その本文で答える質問を1,452問収録する。
- 自然言語処理分野の70論文群、計3,066論文を対象に、基盤モデル18種類を評価した。
- テスト集合の順位付け表ではGPT-4oのMRRは0.500。本文の0.488という記述とは一致しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、M3SciQAの仕組み
- 01起点論文の図表と質問
- 02引用論文を順位付け
- 03上位論文の本文を読む
- 04質問に回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
M3SciQAは、論文の図表を読み、そこから関連する引用論文を探して質問に答える能力を測る。研究者も図表の結果を見て、引用先で方法や実験条件を確かめることがある。文章だけ、または一つの文書だけの質問では、この作業を測りにくい。
実務の調査でも、図表を読み違えたり、別の引用先を選んだりすれば、回答の根拠を取り違える。著者らは、図表の理解と複数文書の探索を含む評価課題としてM3SciQAを作った。
手法
データ作成では、専門家が起点論文の図表から、答えが特定の引用論文を指す質問を作る。GPT-4でその引用論文の詳細を問う質問を生成し、二つを一つの質問に結合する。専門家が質問と回答を確認する。例えば、図表に示された研究を特定し、その研究の方法を引用先の本文から答える形になる。
評価の前半では、画像を扱えるモデルに図表、質問、引用論文の候補を渡し、関連度順に並べさせる。後半では、その順位の上位３論文の文章と結合した質問を言語モデルに渡して回答させる。これにより、引用先の選択と本文からの回答を別々に評価する。
新規性
M3SciQAは、起点論文の図表を読み、該当する引用論文を特定し、その本文の情報で答える過程を一つの質問にまとめた評価用データセットである。図表の理解と文書をまたぐ回答を、同じ課題で調べられる。
専門家が図表から引用先を特定する質問を作り、GPT-4を使って引用論文の詳細を問う質問と結合した。専門家は完成した質問の妥当性や明確さも確認している。
従来手法との違い
著者らによると、従来の評価は単一文書や文章だけを扱う課題が中心だった。M3SciQAでは図表を手掛かりに引用論文を順位付けし、続いて上位論文の本文から答えるため、二つの段階を調べられる。
順位付けの比較対象にはBM25と文章の類似度を使う手法がある。これらは質問とGPT-4oが作った図表説明文を検索文にし、引用論文の題名と要旨を照合する。比較結果は、この論文群と評価条件に限られる。
実験結果
著者らは自然言語処理分野の起点論文70本と引用先を含む計3,066論文から、専門家が確認した1,452問を作った。検証用452問、テスト用1,000問で、基盤モデル18種類を評価した。テスト集合の引用論文順位付けでは、正解文書の順位を測る平均逆順位（MRR）が専門家0.796、GPT-4o 0.500、BM25 0.127だった。
本文からの回答では、GPT-4oが順位付けした上位３論文を入力する条件で、Command R+の回答得点は33.25だった。同モデルはテスト集合から無作為抽出した200問で評価された。専門家の76.50は正解の引用論文を事前に知らせる別条件である。なお本文にはGPT-4oのMRRを0.488とする記述もあり、表の0.500と一致しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：企業の研究部門で、図表付き技術報告書から引用先の実験条件を探す。入力は起点報告書の図表画像、質問、電子化された引用文書群とし、出力は候補文書の順位、回答、回答を支える本文箇所にする。
初期案では追加学習用データやセンサーを使わず、担当者が正しい引用先と回答箇所のラベルを付ける。社内文書の図表形式と引用表記に合わせて抽出手順を調整する。効果は社内資料で別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：電子化された技術報告書と引用先文書を少数集め、図表から引用先を選び、その本文で答えられる質問を担当者が作る。正しい引用先、回答、根拠箇所をラベルとして残す。初期PoCでは追加学習用データやセンサーを使わず、社内文書に合わせて図表と引用情報の取り出し方を調整する。
質問文と図表の説明文で引用先の題名・要旨を検索する方法を基準にする。候補の上位３件に正解が入る割合を比べ、回答と根拠箇所の一致を担当者が確認する。図表の読み違い、引用先の選択ミス、本文の読み取りミスを分けて記録する。
限界と課題
著者らは、モデルごとに一度に読める文章量が違い、論文群の全候補を扱えるモデルと、一度に２～８論文しか扱えないモデルの比較が公平になりにくいと述べる。多数の候補論文をまとめて順位付けさせる方法にも課題を挙げている。
編集上の検証事項は、社内文書の図表や引用関係でも正しい文書に到達できるか、回答を本文で裏付けられるかである。自然言語処理論文で得た結果から、別分野や社内資料での性能は判断できない。
出典
元のタイトル・要旨を確認する（英語）
M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models
Existing benchmarks for evaluating foundation models mainly focus on single-document, text-only tasks. However, they often fail to fully capture the complexity of research workflows, which typically involve interpreting non-textual data and gathering information across multiple documents. To address this gap, we introduce M3SciQA, a multi-modal, multi-document scientific question answering benchmark designed for a more comprehensive evaluation of foundation models. M3SciQA consists of 1,452 expert-annotated questions spanning 70 natural language processing paper clusters, where each cluster represents a primary paper along with all its cited documents, mirroring the workflow of comprehending a single paper by requiring multi-modal and multi-document data. With M3SciQA, we conduct a comprehensive evaluation of 18 foundation models. Our results indicate that current foundation models still significantly underperform compared to human experts in multi-modal information retrieval and in reasoning across multiple scientific documents. Additionally, we explore the implications of these findings for the future advancement of applying foundation models in multi-modal scientific literature analysis.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01