アーカイブ / VLM / RAG
図表を含むPDFのページを質問から探すColMate：画像の学習と照合方法を改良
ColMate
ColMateの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Masked OCR LM
概要
- MOLMはOCRで得た語と位置を使い、文書画像の特徴から隠した語を予測する。
- MaskedCLはPDF本文から疑似的な質問を作り、正解の質問・ページ組なしで学習できる。
- 著者らのViDoRe V2評価では、教師ありColMate-Pali-3Bの平均nDCG@5は57.61、原著ColPali-3Bは54.60だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ColMateの仕組み
- 01質問とPDFページ
- 02細かな特徴に変換
- 03MaxSimで照合
- 04関連ページを返す
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ColMateは、質問に関係するPDFのページを、文字だけでなく図表や配置を含む画像から探す手法である。検索拡張生成（RAG）は、検索した外部情報を生成モデルに渡して回答に使う仕組みで、関連ページを取り違えると後段に渡す根拠もずれる。
著者らは、従来の文書画像検索には、画像側の細かな特徴を十分に学習できないことや、正解の質問・ページ組を付けたデータに頼ることなどの課題があると述べる。画像を小領域に分けた特徴と語の対応のずれも、学習時の照合を難しくする。
手法
ColMateは、質問文とPDFのページ画像を比較できる細かな特徴に変え、質問に近いページを順位付けする。事前学習のMOLMでは、OCR（画像中の文字を読み取る処理）で語と位置を得て、語の30％を隠す。その位置と重なる画像の特徴をまとめ、隠した語を予測するよう学習する。
正解の質問・ページ組がない場合のMaskedCLでは、PDFから抽出した本文の一部を隠して疑似的な質問を作り、ページ画像の一部も白く隠して対応付けを学ぶ。学習時はTopKSimで質問の各要素に似た画像要素の上位K個を平均し、検索時は最も似た一つを使うMaxSimに戻す。
新規性
著者らの提案は、文書画像の特徴を学ぶMOLM、正解の質問・ページ組なしで対応関係を学ぶMaskedCL、学習時の照合に使うTopKSimの三つを組み合わせる点にある。MOLMはOCRで得た語の位置を使い、その場所の画像特徴から隠した語を予測する。
TopKSimは、一つの質問要素に対して似た画像要素を上位K個選び、類似度の平均を取る。画像を小領域に分けた際、語と領域が一対一に対応しないことで生じる学習時のノイズを抑える狙いがある。
従来手法との違い
基準となるColPaliは、質問とページ画像をそれぞれ細かな特徴に変換し、質問側の各要素に最も似た文書側の要素を使うMaxSimで照合する。ColMateはこの構成を基に、画像特徴を直接学ぶ段階と、正解の質問・ページ組がない場合の学習法を加える。
著者らは、同じ設定で学習したTopKSimとMaxSimも比較した。ViDoRe V2の平均nDCG@5は56.41対54.00だった。TopKSimを使うのは学習時で、検索時の照合にはMaxSimを使う。
実験結果
著者らはMOLMに英語PDF由来の画像を約400万件、MaskedCLにメタデータ付きの100万文書を使用したと記す。ただし、前者の単位は本文で「文書」と「ページ」が混在する。教師あり学習にはViDoReの学習用質問・ページ組11万8,695件を使った。
評価はViDoRe V1の10データセットとV2の9領域で、指標は上位5件の順位を評価するnDCG@5。著者らの教師ありColMate-Pali-3Bは平均でV1が85.14、V2が57.61、原著のColPali-3Bは84.93、54.60だった。教師あり学習なしのMaskedCL単独は74.52、41.50で、マスクなしのCL単独の71.62、38.11を上回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の製品マニュアルで、図表を含む説明ページを質問文から探す。入力は担当者の質問とPDFの各ページ画像、出力は関連度順に並べたページである。担当者が元のPDFを開き、図表と本文を確認して回答に使う。
対象PDFのページ画像に加え、追加学習を試すなら抽出可能な本文、OCRで得た語と位置が必要になる。教師あり学習には質問と正解ページの組も要る。新たな撮影センサーは想定せず、社内文書の言語やレイアウトに合うかは別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務のPDFを集め、ページ画像、抽出可能な本文、OCRの語と位置を確認する。教師ありの追加学習を試すなら質問と正解ページの組を用意し、組がない場合も評価用には人手で正解を付ける。追加の撮影センサーは不要と想定する。
同じ質問とページ集合でColMateと基準のColPaliを比べ、nDCG@5、正解ページが上位5件に入る割合、検索時間を測る。OCRが崩れるページや日本語文書を分けて結果を見て、必要に応じて対象文書での追加学習とKの調整を検討する。
限界と課題
著者らは、検証の中心がPaliGemmaであること、ViDoRe V1での改善が小さいことを限界として挙げる。TopKSimには上位何件を平均するかを決めるKの調整が必要で、正解の質問・画像組が豊富な条件ではMaskedCLを追加しても性能向上は見られなかったとしている。
編集上の検証事項は、自社PDFでOCRの語と位置を正しく取れるか、日本語の質問や図表中心のページでも検索順位が安定するかである。示された数値はページ検索の評価であり、そのページを使って作る回答文の正確さは判断できない。
出典
元のタイトル・要旨を確認する（英語）
ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
Retrieval-augmented generation has proven practical when models require specialized knowledge or access to the latest data. However, existing methods for multimodal document retrieval often replicate techniques developed for text-only retrieval, whether in how they encode documents, define training objectives, or compute similarity scores. To address these limitations, we present ColMate, a document retrieval model that bridges the gap between multimodal representation learning and document retrieval. ColMate utilizes a novel OCR-based pretraining objective, a self-supervised masked contrastive learning objective, and a late interaction scoring mechanism more relevant to multimodal document structures and visual characteristics. ColMate obtains 3.61% improvements over existing retrieval models on the ViDoRe V2 benchmark, demonstrating stronger generalization to out-of-domain benchmarks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01