アーカイブ / VLM / RAG
図表やレイアウトを含む文書をページ画像から探すColPali
ColPali
文書ページを画像として埋め込み、関連箇所を照合する。
出典：Manuel Faysse et al. / ColPali, Fig. 1 ↗概要
- PDFの文字抽出や段落分割を前提とせず、ページ画像から検索用の特徴を作る。
- 質問の語とページ内の画像領域を照合し、関連ページを順位付きで返す。
- 著者らのViDoRe評価では平均NDCG@5が81.3で、比較した文字抽出系の方式を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ColPaliの仕組み
- 01PDFのページ画像
- 02画像から複数の特徴ベクトル
- 03質問の特徴と部分ごとに照合
- 04関連するページを順位付け
たとえば「この年度の売上は？」という質問で、本文だけでなく表や配置も含むページを探す。
文字を抽出し、表や図を別途処理してから検索用の表現に変える。
ページを画像として表現し、質問とページ内の特徴を照合する。
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
業務文書には、本文だけでなく図、表、配置、文字の強調にも情報がある。従来の文書検索ではPDFから文字を抽出し、段落に分けて索引を作ることが多い。その過程で図表の意味が失われたり、読み取りや分割に手間がかかったりする。
検索拡張生成（RAG）では、回答を作る前に関連ページを探すため、この段階で必要な図表を含むページを取り逃すと、後の回答にも影響する。ColPaliはページ画像を直接検索対象にする。
手法
文書の各ページを画像として入力し、視覚と言語を扱うモデルで小領域ごとの特徴ベクトルを作って保存する。特徴ベクトルとは、内容を数値の並びで表したもの。質問文も語ごとに特徴化し、検索時に各語とページ内の領域の近さを計算する。
各質問語について最も近い画像領域の点数を取り、それらを足してページの順位を決める。この後段での照合を「遅延相互作用」と呼ぶ。例えば「売上の推移を示す棒グラフ」という質問なら、文章の語だけでなく図の領域も手掛かりに候補ページを返す。出力は回答文ではなく、関連度順のページである。
新規性
ColPaliの特徴は、文書を文字列に変換してから検索する代わりに、ページ画像から複数の特徴ベクトルを作り、質問文との細かな対応を調べる点にある。著者らは、図表や配置を含むページ単位の検索を測るViDoReも提案した。
同じ評価表で、単一の特徴ベクトルを使うBiPaliから、語と画像領域の対応を使うColPaliへ変えると、平均NDCG@5が58.8から81.3に上がった。これは論文の対象課題での結果である。
従来手法との違い
比較対象には、PDFを解析して文字を抽出し、段落ごとに分けて検索する手法がある。表や図を扱うためにOCRで文字を読む方式、画像の説明文を作る方式も評価された。これらは文書を索引に登録する前の工程が増える。
ColPaliはページ画像を直接特徴化する。ViDoReの平均NDCG@5はColPaliが81.3、Unstructuredで文字抽出にOCRを加えたBGE-M3方式が66.1、画像説明を加えたBGE-M3方式が67.0だった。一方、ColPaliはページ内の画像領域ごとに特徴を保存する。
実験結果
著者らは、英語とフランス語の図表、科学文書、行政文書などを含むViDoReでページ検索を評価した。主な指標NDCG@5は、正しいページが上位5件に適切な順位で現れるほど高い。10課題の平均はColPaliが81.3、BiPaliが58.8、UnstructuredとOCRを組み合わせたBGE-M3が66.1だった。
学習には127,460組の質問とページを使用した。論文では質問の符号化が約30ミリ秒、索引の保存量が約256KB／ページと報告する。速度と容量は論文の測定設定に基づく。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の設備マニュアルをページ画像として登録し、「配線図で警告灯の接続を示すページ」のような質問から候補ページを探す。入力は文書ページと自然文の質問、出力は順位付きのページ一覧である。
担当者は候補ページを開き、図と本文を目視で確認してから回答に使う。検索結果をそのまま回答として返すのではなく、参照したページを明示する検索拡張生成（RAG）の前段として使う想定だ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：図表を含む社内文書からページ単位の小さな評価集合を作り、実際の質問に対して正解ページを人が指定する。現行の文字抽出と検索を比較基準に、同じ文書と質問をColPaliへ与える。
正解ページが上位5件に入る割合と順位、索引作成時間、質問への応答時間、保存容量を測る。図中心、表中心、本文中心のページを分けて集計し、候補ページを人が確認する時間まで含めて採用を判断する。
限界と課題
著者らが示す制約として、ページごとに画像の小領域に対応するベクトルを保存するため、索引の容量が必要になる。論文ではColPaliの保存量を約256KB／ページと報告する。また、訓練用の質問とページの組は英語で構成されている。
編集上の確認点は、日本語の専門用語を含む文書での検索精度、ページ数が増えた際の応答時間、読みにくいスキャン画像への対応である。ページが見つかることと、図表の内容を正しく解釈して回答できることは別に検証する。
出典
元のタイトル・要旨を確認する（英語）
ColPali: Efficient Document Retrieval with Vision Language Models
Documents are visually rich structures that convey information through text, but also figures, page layouts, tables, or even fonts. Since modern retrieval systems mainly rely on the textual information they extract from document pages to index documents -often through lengthy and brittle processes-, they struggle to exploit key visual cues efficiently. This limits their capabilities in many practical document retrieval applications such as Retrieval Augmented Generation (RAG). To benchmark current systems on visually rich document retrieval, we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of various page-level retrieval tasks spanning multiple domains, languages, and practical settings. The inherent complexity and performance shortcomings of modern systems motivate a new concept; doing document retrieval by directly embedding the images of the document pages. We release ColPali, a Vision Language Model trained to produce high-quality multi-vector embeddings from images of document pages. Combined with a late interaction matching mechanism, ColPali largely outperforms modern document retrieval pipelines while being drastically simpler, faster and end-to-end trainable. We release models, data, code and benchmarks under open licenses at https://hf.co/vidore.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29