アーカイブ / VLM
文章と画像を合わせ、記事・論文・スライドを文書単位で探すDocMMIR
DocMMIR
DocMMIRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of DocMMIR. The multimodal documents across domains are formalized into a unified framework.
概要
- Wikipedia記事、arXiv論文由来の文書、スライドを共通形式にそろえ、文章と画像を使って文書単位で検索する。
- 著者らは計488,467文書を構成し、手法比較では重み付き合成と二値交差エントロピーの全文書MRR@10を0.65662と報告する。
- 社内資料への応用には、実際の質問と正解文書の組を用意し、文章だけの検索と同条件で比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DocMMIRの仕組み
- 01検索文と候補文書
- 02文章・画像を数値化
- 03文書表現を合成
- 04類似度で順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DocMMIRは、文章と画像を含む資料を文書単位で検索する。文章の一部や画像一枚だけを照合する方式では、複数の図と段落にまたがる内容を探す課題を十分に表しにくい。
対象となる記事、科学論文、スライドは、文章量も画像の使い方も異なる。同じ検索文からこれらを順位付けできれば、資料形式ごとの得意不得意を調べ、検索方式を選ぶ手がかりになる。
手法
DocMMIRは、検索文に合う文書を順位付きで返す。Wikipedia記事では同じ題名の段落と画像を集め、論文では図と同じ節の段落を選ぶ。スライドではOCR（画像内の文字を読み取る処理）で文章を抽出し、一組のスライドを一文書にまとめる。
検索時は、例えば「変換器型の画像モデルを図で説明する論文」を入力する。モデルは検索文と文書の文章を数値の並びに変え、各画像も数値化して平均する。この数値の並びを「埋め込み」と呼ぶ。文章側と画像側を決めた重みで足し、検索文とのコサイン類似度（数値の向きの近さ）が高い文書から並べる。学習時には、正しい検索文と文書の組を見分けるよう調整する。
新規性
DocMMIRは、Wikipedia記事、arXiv論文由来の文書、発表スライドを、文章・画像・検索文を持つ共通形式にそろえた。形式の異なる資料を、同じ文書単位の検索課題で扱えるようにした点が特徴である。
著者らは、各形式に応じた抽出と品質確認を行い、計488,467文書を構成した。さらに、文章と複数画像の表現を合わせる方法と学習時の損失関数を比較している。
従来手法との違い
著者らは、対象データで追加学習していないCLIP、BLIP-2、SigLIP-2、ALIGNを比較対象にした。本文ではCLIPのViT-L/14版が比較的良好と述べるが、総合結果の表は見出しと数値の対応に食い違いがあり、ここでは数値比較に用いない。
手法の比較では、文章と画像を重み付きで足す方法と、学習可能な層で合わせる方法を調べた。学習時には二値交差エントロピーとInfoNCEを比較しており、差が示された範囲はDocMMIRの評価条件に限られる。
実験結果
著者らによると、データはWikipedia、arXiv、Slideshare由来の計488,467文書で、学習450,079件、検証19,184件、試験19,204件である。検索文はモデルが生成した。標本2,000件を３人が確認し、87.5％が「高い関連性」の基準を満たしたと報告する。
手法比較表では、全文書を対象とするMRR@10が、重み付き合成と二値交差エントロピーで0.65662、重み付き合成とInfoNCEで0.63606、学習可能な層による合成と二値交差エントロピーで0.23305だった。MRR@10は正解文書が上位10件のどこに現れるかを見る指標である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：図入りの社内技術報告書と研修スライドを、社員の短い質問から探す画面に応用する。入力を質問、出力を関連文書の順位付き一覧とし、利用者が候補の原文を開いて確認する流れを想定する。
必要な元データは対象文書の文章と画像、学習用には質問と正解文書を結ぶラベルである。スライドの文字を抽出し、画像との対応を点検してから対象資料にモデルを適応させる。追加センサーは想定せず、検索改善は検証すべき仮説とする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内文書の一部を選び、文章と画像を文書単位で整理する。スライドには文字抽出を行い、文章と画像の対応を点検する。実際の利用者から質問を集め、質問ごとに正解文書のラベルを付け、その組で対象資料にモデルを適応させる。追加センサーは想定しない。
同じ質問と候補文書を使い、文章だけの検索を比較基準に置く。MRR@10と、１位に正解文書がある割合を資料形式ごとに測る。文字抽出の誤りや正解ラベルの判断が結果にどう影響するかも記録する。
限界と課題
著者らは、スライドの文章が断片的で、文章と画像を合わせにくいと述べる。また、論文由来の文書には図と同じ節にある段落を選んでいるため、論文の全文をそのまま検索する条件とは異なる。
編集上の検証事項は、生成された検索文での成績が社員の実際の質問にも当てはまるか、文字抽出の誤りや画像の少ない文書にどう影響されるかである。本文と表には総合成績の対応が読み取りにくい箇所もあり、その数値を使う際は原表の確認が必要になる。
出典
元のタイトル・要旨を確認する（英語）
DocMMIR: A Framework for Document Multi-modal Information Retrieval
The rapid advancement of unsupervised representation learning and large-scale pre-trained vision-language models has significantly improved cross-modal retrieval tasks. However, existing multi-modal information retrieval (MMIR) studies lack a comprehensive exploration of document-level retrieval and suffer from the absence of cross-domain datasets at this granularity. To address this limitation, we introduce DocMMIR, a novel multi-modal document retrieval framework designed explicitly to unify diverse document formats and domains, including Wikipedia articles, scientific papers (arXiv), and presentation slides, within a comprehensive retrieval scenario. We construct a large-scale cross-domain multimodal benchmark, comprising 450K samples, which systematically integrates textual and visual information. Our comprehensive experimental analysis reveals substantial limitations in current state-of-the-art MLLMs (CLIP, BLIP2, SigLIP-2, ALIGN) when applied to our tasks, with only CLIP demonstrating reasonable zero-shot performance. Furthermore, we conduct a systematic investigation of training strategies, including cross-modal fusion methods and loss functions, and develop a tailored approach to train CLIP on our benchmark. This results in a +31% improvement in MRR@10 compared to the zero-shot baseline. All our data and code are released in https://github.com/J1mL1/DocMMIR.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01