アーカイブ / RAG / LLM
財務文書の質問応答を支える、検索前処理から文書選別までの設計
Financial RAG Pipeline
Financial RAG Pipelineの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) ConvFinQA
概要
- 財務文書向けRAGで、質問・文書の前処理から検索、再順位付け、回答用文書の選別までを検討した。
- 7データセットで検索を評価し、再順位付けでは改善したデータセットがある一方、FinQABenchのNDCG@10は低下した。
- 実務適用には、質問と根拠箇所のラベルを用意し、回答の値・年度・単位を原文と照合する検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Financial RAG Pipelineの仕組み
- 01財務質問と文書
- 02質問拡張・文書整形
- 03密・疎検索を統合
- 04再順位付け・文書選別
- 05文書に基づく回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、財務文書への質問に答える前に、根拠となる箇所を探す方法を改善する。10-Kなどの年次報告書には財務特有の語と複数階層の表があり、必要な数値を行・列・年度の文脈ごと見つけることが難しい。
検索拡張生成（RAG）は、関連文書を検索してから言語モデルに渡す方式である。検索で別の箇所を選べば、その後の回答も誤った根拠に基づきかねないため、著者らは検索前、検索中、検索後の処理を検討した。
手法
まず短い質問に文脈を補い、文書は見出しや表の構造が分かるMarkdown形式に整える。例えば「2016年の投資収益」という質問では、値だけでなく行名と年の列を結び付けて探す必要がある。検索には、語の意味の近さを使う密な検索と、語の一致を使う疎な検索を用い、両者の点数を重み付けして統合する。
検索モデルは事前に関連する質問と文書の組で調整する。検索後は上位20件を再順位付けし、上位10件から回答に必要な文書を選ぶ。回答モデルにはDPO（直接選好最適化）を適用する。これは好ましい回答と好ましくない回答の組で出力傾向を調整する方法で、選んだ文書を回答生成に渡す。
新規性
本研究は、財務質問と文書の前処理、検索モデルの調整、二方式の検索結果の統合、再順位付けを一連の流れとして評価する。表を含む文書の構造と、財務分野特有の語彙の両方を検索で扱う設計である。
さらに、検索上位の文書から回答に必要なものだけを選ぶ方法を提案し、回答生成には好ましい回答と好ましくない回答の組を使った調整を加える。各段階の効果は、示された比較条件ごとに読む必要がある。
従来手法との違い
質問の前処理では、調整済みのstella 400Mで元の質問を使う条件と、キーワード抽出、言語モデルによる質問拡張を比べた。文書の前処理では、質問拡張を使う条件で未整形文書とMarkdown形式への再構成などを比較した。
検索モデルの表では、未調整のstella 1.5Bが0.32178、調整済みの同モデルが0.50864だった。ただし、調整済みの400Mモデルの0.40186を未調整の基準値として扱うことはできない。生成評価も文書選別とモデル調整を合わせた比較で、各要素単独の効果は分からない。
実験結果
著者らはFinDER、FinQABench、FinanceBench、TATQA、FinQA、ConvFinQA、MultiHierttの7データセットを評価した。検索順位の指標NDCG@10は、関連文書が上位10件のどこに並ぶかを測る。調整済みstella 400Mでの質問拡張は、元の質問の0.40186に対し0.48601だった。
Markdown形式への文書再構成は、同じ比較表の未整形文書0.48601に対し0.48645だった。voyage-rerank-2による再順位付けではFinanceBenchが0.80464から0.91191に上がり、FinQABenchは低下した。生成評価では、文書選別とDPO調整済みGPT-4o miniのAnswer Relevanceが0.8924、Context Precisionが0.3962で、比較対象のGPT-4oはそれぞれ0.8663、0.3418だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：利用を許可された年次報告書から、担当者が「2016年の投資収益はいくらか」を調べる場面に使う。入力は質問と報告書の本文・表、出力は回答候補と参照文書の候補とし、担当者が元表の行名、年の列、単位を照合する。
対象の本文と表を検索可能な形で取り込み、質問と正しい根拠箇所の対応ラベルを用意する必要がある。検索モデルや文書整形は対象文書に合わせて調整する想定で、新しいセンサーは使わない。これは論文で実証された業務効果ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の年次報告書と実際の業務質問を対象にする。本文と表を取り込み、担当者が質問ごとの正しい根拠箇所、期待する回答値、年度、単位をラベル付けする。新しいセンサーは使わず、質問拡張と文書整形を対象文書に合わせて調整する。
元の質問と未整形文書による検索を基準に、前処理、密・疎検索の統合、再順位付けを段階ごとに比較する。上位10件のNDCG@10に加え、回答値・年度・単位が原文と一致する割合と、示した根拠箇所が回答を支える割合を記録する。
限界と課題
著者らは、変化の速い金融情報の取り込み、多言語への拡張、悪意ある入力への対処を今後の課題に挙げる。再順位付けにも例外があり、FinQABenchのNDCG@10は検索時の0.93214から0.89974に下がった。
編集上の検証事項は、文書更新後の検索結果、表の行・列・単位の読み取り、引用箇所と回答値の一致である。提示された生成指標だけでは数値回答の正確さは判断できない。また、生成評価の比較から、文書選別と回答モデルの調整の効果を切り分けることもできない。
出典
元のタイトル・要旨を確認する（英語）
Optimizing Retrieval Strategies for Financial Question Answering Documents in Retrieval-Augmented Generation Systems
Retrieval-Augmented Generation (RAG) has emerged as a promising framework to mitigate hallucinations in Large Language Models (LLMs), yet its overall performance is dependent on the underlying retrieval system. In the finance domain, documents such as 10-K reports pose distinct challenges due to domain-specific vocabulary and multi-hierarchical tabular data. In this work, we introduce an efficient, end-to-end RAG pipeline that enhances retrieval for financial documents through a three-phase approach: pre-retrieval, retrieval, and post-retrieval. In the pre-retrieval phase, various query and corpus preprocessing techniques are employed to enrich input data. During the retrieval phase, we fine-tuned state-of-the-art (SOTA) embedding models with domain-specific knowledge and implemented a hybrid retrieval strategy that combines dense and sparse representations. Finally, the post-retrieval phase leverages Direct Preference Optimization (DPO) training and document selection methods to further refine the results. Evaluations on seven financial question answering datasets-FinDER, FinQABench, FinanceBench, TATQA, FinQA, ConvFinQA, and MultiHiertt-demonstrate substantial improvements in retrieval performance, leading to more accurate and contextually appropriate generation. These findings highlight the critical role of tailored retrieval techniques in advancing the effectiveness of RAG systems for financial applications. A fully replicable pipeline is available on GitHub: https://github.com/seohyunwoo-0407/GAR.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01