アーカイブ / Computer Vision / RAG / Generative AI
論文の説明図を文脈ごと探すDiagramBank：件数の食い違いも確認
DiagramBank
DiagramBankの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . DiagramBank-RAG framework (self-generated example). The above workflow diagram is automatically generated by our developed RAG framework: we retrieve exemplars from DiagramBank via our RAG pipeline and use Nano Banana 3 Pro to synthesize the final schematic. The figure, therefore, serves both as an overview of the system components, paper ingestion and figure/context extraction, DiagramBank indexing, retrieval-augmented prompt construction, and generation with downstream judging, and as a concrete demonstration that our dataset and retrieval module can directly support producing paper-ready teaser-style diagrams.
概要
- 図画像を論文の題名・要旨、図の説明文、本文の参照段落に結び付けて検索する。
- 本文の表では説明図89,422件、確信度0.85超は59,765件。要旨の57,100件とは対象や条件を照合する必要がある。
- 生成への利用はCode2MCPの事例比較で示され、幅広い課題での生成品質の数値評価は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DiagramBankの仕組み
- 01論文PDF
- 02図と参照文を抽出
- 03説明図を選別
- 04題名・要旨・図説明で検索
- 05参考図を返す
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
論文の説明図は、手法の部品と処理の流れを一目で伝えるために使われる。参考例を探す際、画像だけでは、それがどの研究課題を説明し、本文のどの記述に対応するか判断しにくい。
著者は主にAI・機械学習論文の図を対象とする。既存の図コーパスにはグラフや写真も含まれるため、説明図を選び、論文と図の両方の文脈から探せる記録を整備した。
手法
DiagramBankはOpenReview上の対象論文から図と説明文を抽出し、本文で図番号に言及する段落を対応付ける。CLIPは画像と語句の対応を比べるモデルで、抽出図を説明図、グラフ、写真などに分類する。図種別の判定結果や確信度、論文情報を図ごとの記録に収める。
検索例では、利用者の論文の題名・要旨と、作りたい図の説明文を入力する。検索用の索引とは近い文章を探す仕組みで、題名で論文候補を探し、要旨で絞り、最後に図の説明文を照合する。参考図とその説明文・論文情報を返し、著者の生成例では参考図を生成時の指示に添える。
新規性
DiagramBankは、説明図の画像を論文の題名・要旨、図の説明文、本文中で図番号に言及する段落と結び付ける。図だけでは分からない研究課題や図の役割を、同じ記録からたどれる構成が特徴だ。
著者は、この記録を使い、題名から要旨、図の説明文へと候補を絞る検索例を示す。検索結果を図生成の参考にも使うが、生成品質が広く改善するという定量評価までは確認できない。
従来手法との違い
著者が挙げる既存の図コーパスは、説明図にグラフや写真が混ざる、または図を説明する論文本文を十分に保持しない。DiagramBankでは図種別で候補を選び、論文単位と図単位の文章を合わせて記録する。
生成例では、文章による指示だけを使う場合と、検索した参考図を添える場合をCode2MCPの図で比較した。著者は後者に参考図に近い淡い配色や入れ子状の配置を見いだしているが、この一例から一般的な優劣は判断できない。
実験結果
著者の本文では、ICLR、ICML、NeurIPS、TMLRの2017～2025年を対象に、表を除く452,339図を抽出し、CLIPが89,422図を説明図と判定した。確信度0.85超の説明図は59,765図で、そのうち採択論文に属するものは37,937図と表にある。
一方、入力の要旨は品質監査済みの57,100図と、公開記録の盲検監査による適合率93.67％を報告する。本文の件数と一致せず、確認できた本文の範囲では監査の標本数や判定基準も分からない。図生成の比較はCode2MCPの事例で、検索精度や生成品質の複数課題にわたる数値は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：AI手法の概要図を作る研究チームが、原稿の題名・要旨と、作りたい図の説明文を入力する。図画像と対応する文章を検索元にし、候補図と説明文を配置検討用の資料として受け取る。
必要な元データは検索対象の図、論文情報、図の説明文である。既存記録の図種別ラベルを利用し、追加学習用の正解ラベルやセンサー入力は用意しない想定だ。担当者が候補を選び、原稿の要素に合わせて描き直す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象分野の原稿について、題名・要旨・図の説明文から参考図を検索する。検索元には図画像、対応する文章、既存の図種別ラベルを使い、担当者が上位候補の関連性を記録する。追加学習用ラベルやセンサー入力は用意しない。
次に同じ説明文を使い、文章だけの場合と参考図を添えた場合の構成案を作る。元原稿を基準に必要な要素の抜け、矢印の向き、文字の誤りを数え、候補図が合わない場合は検索条件を調整する。採用前に人が内容を確認する。
限界と課題
著者は、自動的な図種別判定と本文参照箇所の抽出により、誤分類や文脈の欠落が起こり得ると述べる。検索した図が見た目や論理の面で合わなければ、そのずれが生成図に伝わる可能性も挙げる。密な矢印や文字の表現にも課題がある。
編集上の検証事項は、対象分野を十分に検索できるか、候補図が原稿の手順を正しく表すかである。公開データの利用時には、要旨と本文で異なる件数の対象・選別条件・版を確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
DiagramBank: A Quality-Audited Dataset of Scientific Schematic Diagrams with Multi-Level Document Context
Scientific papers use schematic diagrams to communicate methods, workflows, and system structure, yet existing scientific-figure corpora often mix them with plots, screenshots, and photographs and rarely preserve document context. We introduce DiagramBank, a quality-audited dataset of 57,100 schematic diagrams curated from OpenReview-hosted AI/ML venues. Each record links a diagram image to its paper title, abstract, figure caption, in-text figure-reference spans, venue/year metadata, provenance fields, and filtering labels. DiagramBank is a reusable resource for scientific-document understanding, diagram retrieval, corpus analysis, and future benchmark construction. We describe its extraction and cascade-filtering pipeline, release schema, confidence-controlled views, dataset card, and indexing utilities. A manual blind audit of the released cascade-filtered records estimates 93.67% precision, and a separate CLIP threshold analysis characterizes the precision--coverage trade-off for simpler filtering views. We further provide lightweight metadata-indexing and authoring examples to illustrate downstream protocols without treating these utilities as standalone methods. The code is public at: https://github.com/csml-rpi/DiagramBank.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01