アーカイブ / RAG / LLM
SEC提出書類から比較に必要な根拠を集めるHiREC
HiREC
HiRECの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of a naive RAG approach and HiREC .
概要
- HiRECは関連文書を先に選び、根拠箇所を選別し、不足分を補足質問で再検索する。
- 著者らはSEC書類145,897件、質問・回答1,595組のLOFinを構築した。
- LOFin-1.4kの主実験で、平均回答正解率はHiRECが42.36％、Denseが29.22％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HiRECの仕組み
- 01質問とSEC書類
- 02関連文書の検索
- 03本文・表の選択
- 04根拠選別と補足検索
- 05回答生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HiRECは、SEC提出書類から財務質問の根拠を探す手法である。SEC提出書類は企業や年度が違っても見出し、定型文、表の形が似るため、質問に近い箇所だけを探すと別企業の記述や重複した箇所を拾いやすい。
二社を比べる質問では、一方の根拠だけでは差を求められない。書類を大量に横断する検索では、対象を正しく絞ることと、回答に必要な情報がそろったかを確かめることが重要になる。
手法
HiRECは、各書類の表紙から企業名、書類の種類、対象期間などを要約して検索用に登録する。質問も検索向けに整え、まず関連文書を探して候補を再順位付けし、その中の本文や表を選ぶ。表の選択器は、FinQAの質問と根拠表を使って調整される。
次に言語モデルが無関係な箇所を除き、回答に十分かを判定する。例えばAmazonとWalmartの比較で前者の根拠しかなければ、後者を探す補足質問で検索を繰り返す。根拠がそろえば元の質問と選別した箇所から回答を作り、設定した反復回数に達した場合も集めた箇所を使って回答を生成する。
新規性
HiRECは、まず関連文書を選び、その中から本文や表の箇所を選ぶ。似た形式の書類が大量にある場合に、検索対象を文書単位で絞る提案である。
さらに、言語モデルが不要な箇所を除き、回答に必要な情報が欠けていれば補足質問で再検索する。表の箇所を選ぶモデルには、FinQAの訓練データに含まれる根拠表を使って調整を加える。
従来手法との違い
比較対象のDense方式は、文書群から質問に近い箇所を直接探し、候補を再順位付けする。HiRECは文書を先に絞るため、別企業の書類にある似た表や定型文を候補として拾う問題に対処する。
著者らはDenseのほか、HHRやIRCoTなどとも比較した。DenseとHiRECの回答生成には同じGPT-4oを使用している。ただし、検索と根拠選別の構成は異なり、結果はLOFinでの評価条件に限られる。
実験結果
著者らは、SEC書類145,897件と質問・回答1,595組からなるLOFinを構築した。主実験は初期版LOFin-1.4kの1,389組で実施し、正解の根拠ページを見つけた割合であるページ再現率と、回答正解率を測った。数値回答では丸めや切り捨てを考慮し、文章回答にはGPT-4oによる評価を用いた。
主実験の平均ページ再現率はHiRECが45.35％、Denseが34.78％、平均回答正解率はそれぞれ42.36％と29.22％だった。両手法の回答生成にはGPT-4oを使用した。これは当該データと設定で著者らが報告した結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：財務担当者が、二社の同じ年度の営業利益に関する比率の差を調べる場面を想定する。企業名・年度を含む質問と対象のSEC提出書類を入力し、各社の根拠ページ、参照した数値、計算結果を確認用に出力する。
事前に対象書類を収集し、文書検索器を対象期間に合わせる。表検索器を調整するなら、FinQAのような質問と根拠表の対応ラベルが必要になる。対象業務の正解ページと回答も別に付けて検証する。センサー入力は使わない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象企業と期間を限定してSEC書類を集め、比較質問に正解回答と根拠ページを付ける。表検索器を調整する場合は、質問と根拠表の対応ラベルを用意し、対象書類の表でも機能するか確かめる。入力にセンサーは必要ない。
同じ文書群と回答生成条件で、箇所を直接探すDense方式とHiREC方式を比べる。ページ再現率、回答正解率、企業・年度の取り違え件数を測り、補足検索で不足した根拠が埋まったかを記録する。数値回答は元の表と計算過程を人が照合する。
限界と課題
著者らは、数値質問には正確な推論が必要で、表を使う質問は特に難しいと述べる。主実験では正解ページだけを与えた場合も平均回答正解率は65.90％で、検索後の回答生成にも誤りが残る。
編集上の検証事項は、企業・年度の取り違え、表の数値の読み違え、補足検索を重ねても根拠がそろわない場合の扱いである。また、本文には初期版1,389組に205組を追加して最終版1,595組とする記述があり、内訳の数は一致しない。
出典
元のタイトル・要旨を確認する（英語）
Hierarchical Retrieval with Evidence Curation for Open-Domain Financial Question Answering on Standardized Documents
Retrieval-augmented generation (RAG) based large language models (LLMs) are widely used in finance for their excellent performance on knowledge-intensive tasks. However, standardized documents (e.g., SEC filing) share similar formats such as repetitive boilerplate texts, and similar table structures. This similarity forces traditional RAG methods to misidentify near-duplicate text, leading to duplicate retrieval that undermines accuracy and completeness. To address these issues, we propose the Hierarchical Retrieval with Evidence Curation (HiREC) framework. Our approach first performs hierarchical retrieval to reduce confusion among similar texts. It first retrieve related documents and then selects the most relevant passages from the documents. The evidence curation process removes irrelevant passages. When necessary, it automatically generates complementary queries to collect missing information. To evaluate our approach, we construct and release a Large-scale Open-domain Financial (LOFin) question answering benchmark that includes 145,897 SEC documents and 1,595 question-answer pairs. Our code and data are available at https://github.com/deep-over/LOFin-bench-HiREC.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01