アーカイブ / RAG / LLM
図表やスライドを含む文書をRAGで検索するための三方式の抽出と階層化
Advanced ingestion process powered by LLM parsing for RAG system
Advanced ingestion process powered by LLM parsing for RAG systemの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Preprocessing pipeline for document ingestion in RAG system. The flowchart illustrates the parsing and assembling process for PDF, DOCX, and PPTX files. The pipeline incorporates FAST, OCR, and LLM parsing techniques, followed by image description, text extraction, and snapshot creation. The assembler combines these elements to produce a markdown file per page and a concatenation of them.
概要
- 三方式で文書から文字や画像の情報を抽出し、ページ単位で統合してから種類別の節点に分ける。
- 本文、画像説明、表の説明、要約を使い分け、節点間の関係を残した検索用の表現を作る。
- 著者の評価では回答関連性と忠実性が高い一方、検索文脈の関連性は低い。具体的な得点は確認できた本文からは読み取れない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Advanced ingestion process powered by LLM parsing for RAG systemの仕組み
- 01PDFなどの文書
- 02三方式で抽出
- 03ページごとに統合
- 04節点を階層化
- 05検索用の数値表現
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索拡張生成（RAG）は、質問に関係する資料を検索し、その内容を参照して回答を作る仕組みだ。取り込み時に文章だけを区切ると、表や画像、見出しと本文のつながりを検索に生かしにくい。
対象文書には、文章量の多い論文、画像中心のスライド、スキャンされた資料がある。著者は形式ごとに異なる情報を抽出し、文書内の位置と関係を残すことを課題とした。
手法
PDF、DOCX、PPTXから、ライブラリによる抽出、専用の文字認識、画像も扱う大規模言語モデルの三方式で文字と画像の情報を取り出す。文字認識は画像に写った文字を読む処理だ。画像の説明とページ画像も合わせ、統合用のエージェントがページごとのMarkdownを作る。Markdownは見出しなどの構造を文字で記す形式で、ページを連結した文書版も作る。
続いて見出し、本文、表、画像などを節点に分け、前後と階層の関係を記録する。例えばグラフ付き報告書では、画像の説明と節の見出しを別の節点として保持する。本文には原文、表には文脈を踏まえた説明、見出しとページには要約を使って埋め込みを作る。埋め込みとは、内容を意味の近さで検索するための数値表現だ。
新規性
著者が提案するのは、抽出結果をページごとに統合したうえで、本文、表、画像、見出しを種類の異なる節点として扱い、前後や階層の関係を記録する取り込み方法だ。
検索用の数値表現には、本文そのもの、画像の説明、表の要約などを節点の種類に応じて使う。ページと文書にも要約を与え、細部と全体をそれぞれ検索できる形にする。
従来手法との違い
本文が比較の対象として挙げるのは、文章を意味や長さに沿って分割する一般的な方法だ。著者は、こうした分割だけでは画像、表、見出し、ページの構造を扱いにくいと指摘する。
提案法は三方式の抽出結果を統合し、節点の種類と関係を残す。確認できた本文の範囲では、一般的な分割法を対照群として同一条件で測った結果は示されておらず、性能差の大きさは判断できない。
実験結果
著者は、arXivの論文5件、企業文書10件超、形式と話題を混ぜた最大10件の文書で三つの知識ベースを作った。各文書のページ数と同数の質問、期待回答、正解情報をClaude Haiku 3.5で生成し、質問ごとの検索を最大5節点に制限した。回答生成にはClaude Sonnet 3.5 v2を用いた。
回答の質問への関連性、取得情報への忠実性、検索文脈の関連性・適合率・再現率をLlama 3.1 405B Instructで評価した。著者は回答関連性と忠実性が高く、文脈関連性は全試験で低いと述べる。確認できた本文の範囲では各指標の具体的な得点を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術資料について、担当者の質問から関連ページや表を探し、参照箇所付きの回答案を作る。入力はPDF、DOCX、PPTXの原本と質問文、出力は回答案と参照した原文の位置とする。
原本を抽出・統合して検索用の節点を作り、回答前に参照箇所を担当者が確認する。導入先の文書と実際の質問、正解の参照箇所を人手で用意・ラベル付けする。追加センサーは不要と想定し、資料の表記や更新頻度に合わせて抽出と検索を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：表や画像を含むPDF、DOCX、PPTXを少数集め、担当者が実務上の質問と正解の参照箇所を用意・ラベル付けする。追加センサーは使わず、文書形式に合わせて抽出設定を調整し、検索に使う節点を作る。
比較対象は本文を単純に分割して検索する構成とし、同じ文書と質問で試す。上位5件に正解箇所が入る割合、回答の根拠が原文にある割合、表の数値の転記誤りを記録する。文書更新後の再取り込み時間も測り、運用上の調整点を確認する。
限界と課題
著者は、検索された節点の80％超がページと見出しで、検索文脈の関連性は全試験で低いと報告する。文書の変更や文書内の外部参照への対応、概念間の関係付けも今後の課題に挙げている。
編集上の検証事項として、広いページ要約に不要な情報が混ざる影響、スキャン文書の読み取り順、表の数値の保持を確かめたい。評価用の質問と期待回答はLLMが作っているため、実際の利用者の質問でも同じ傾向になるかは別途検証が必要だ。
出典
元のタイトル・要旨を確認する（英語）
Advanced ingestion process powered by LLM parsing for RAG system
Retrieval Augmented Generation (RAG) systems struggle with processing multimodal documents of varying structural complexity. This paper introduces a novel multi-strategy parsing approach using LLM-powered OCR to extract content from diverse document types, including presentations and high text density files both scanned or not. The methodology employs a node-based extraction technique that creates relationships between different information types and generates context-aware metadata. By implementing a Multimodal Assembler Agent and a flexible embedding strategy, the system enhances document comprehension and retrieval capabilities. Experimental evaluations across multiple knowledge bases demonstrate the approach's effectiveness, showing improvements in answer relevancy and information faithfulness.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01