アーカイブ / RAG / LLM
判定済み事例と参考文書を段階的に統合する事実検証RAG
HF-RAG
HF-RAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Our proposed approach HF-RAG leverages both labeled and unlabeled data to provide sub-topic–specific contextual information.
概要
- 判定済み事例と未ラベル文書を別々に検索し、各情報源で順位融合を行ってから、標準化した得点で候補を選ぶ。
- SciFactのLlama条件では、HF-RAGのマクロF1は0.4320で、単一情報源の順位融合方式を上回った。
- Climate-FEVERのMistral条件ではU-RAG-RRFがHF-RAGを上回り、改善は評価した全条件では成立しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HF-RAGの仕組み
- 01検証する主張
- 02二つの情報源を検索
- 03情報源ごとに順位融合
- 04得点を標準化して選択
- 05三分類の判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HF-RAGは、事実主張を検証するため、判定ラベル付きの事例とラベルのない参考文書を探して言語モデルに渡す手法である。検索拡張生成（RAG）は、外部から検索した情報を入力に添えて判定や回答を作る方法を指す。
判定済み事例は主張と判定の対応を示し、未ラベル文書は関連する背景情報を補う。ただし、検索元が違うと類似度の点数をそのまま比べられない。両方を使うには、どの候補を言語モデルに渡すかを決める統合方法が必要になる。
手法
入力は検証したい主張、ラベル付きの主張・根拠事例、ラベルのない文書群である。複数の検索器がそれぞれの情報源から候補を探し、情報源ごとに逆順位融合（RRF）で一つの順位表にまとめる。RRFは、候補が各検索結果の何位に出たかを点数に換算して足し合わせる方法だ。
次に、各順位表の点数からその情報源の平均を引き、標準偏差という点数のばらつきで割る。これをzスコア標準化といい、得点の尺度をそろえてから両方の候補を並べ、上位を言語モデルへ渡す。例えば気候に関する主張なら、似た判定済み事例とWikipediaの記述が候補となり、モデルが支持・反証・情報不足を判定する。
新規性
HF-RAGの特徴は、判定済み事例と未ラベル文書を別々に検索し、各検索元で複数の検索器の順位を統合してから、二つの検索元を統合する順序にある。
前段には逆順位融合、後段には得点の標準化を使う。検索元ごとに点数の尺度が異なる問題に対応し、推論時に言語モデルへ渡す候補を選ぶ方法として提案された。
従来手法との違い
比較対象は、FEVERで学習した分類器、追加文脈を使わない判定、判定済み事例だけを使うL-RAG、Wikipediaだけを使うU-RAGなどである。各検索元で複数の検索器を統合するL-RAG-RRFとU-RAG-RRFも含まれる。
HF-RAGは両検索元で順位を統合した後、標準化した得点で候補を選ぶ。両検索元から決めた割合で候補を取るLU-RAG-αとも比較された。正解ラベルを使って結果を選ぶRAG-OptSelは性能の上限を調べるための条件であり、実運用の比較対象ではない。
実験結果
著者らは事実検証で評価した。ラベル付き事例にFEVERの訓練集合、未ラベル文書に2018年版Wikipediaを用い、FEVERと、分野外のClimate-FEVER、SciFactを調べた。分野外の二つはテスト集合を使い、Climate-FEVERでは「disputed」を除いた。表の指標は、文脈に入れる候補が10件のときのマクロF1である。
SciFactのLlama条件ではHF-RAGが0.4320で、L-RAG-RRFの0.3948、U-RAG-RRFの0.4012を上回った。一方、Climate-FEVERのMistral条件ではHF-RAGが0.5019で、U-RAG-RRFの0.5249を下回った。著者らの改善に関する総括は、この条件差を踏まえて読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の説明資料に書かれた一文を、担当者が確認する際の根拠探しに使う。入力は確認したい主張、出力は関連する判定済み事例と社内文書の該当箇所、支持・反証・情報不足の判定候補とする。
必要なのは、過去の主張と根拠に付けた判定ラベル、および参照可能な未ラベル文書である。センサー入力は想定しない。社内用語に合わせて検索対象と判定文面を調整し、最後は担当者が根拠の原文を読んで確定する運用を試す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず、判定済みの主張・根拠・三分類ラベルと、参照可能な未ラベル文書を用意する。文書以外のセンサー入力は想定しない。社内用語に合わせて検索対象と判定文面を調整し、人手で正解を確認した同じ主張集合を各方式に入力する。
比較基準は、判定済み事例だけを検索する方式と、未ラベル文書だけを検索する方式にする。三分類のマクロF1に加え、提示された根拠が実際に判定を支える割合を人手で記録する。分野の異なる主張も含め、誤判定時には検索候補と最終判定のどちらに問題があったかを調べる。
限界と課題
著者らは将来の課題として、推論を担う構成要素を加えた複数エージェントのRAGへの拡張を挙げている。これは現行のHF-RAGに備わる機能を示す記述ではない。また、表のClimate-FEVERとMistralの条件では、HF-RAGがU-RAG-RRFを下回る。
編集上の検証事項として、判定済み事例の誤ラベルや古い参照文書が、検索候補と最終判定に与える影響がある。社内データでは検索元ごとの候補数や得点分布も変わり得るため、標準化後の候補選択が安定するかを確認したい。
出典
元のタイトル・要旨を確認する（英語）
HF-RAG: Hierarchical Fusion-based RAG with Multiple Sources and Rankers
Leveraging both labeled (input-output associations) and unlabeled data (wider contextual grounding) may provide complementary benefits in retrieval augmented generation (RAG). However, effectively combining evidence from these heterogeneous sources is challenging as the respective similarity scores are not inter-comparable. Additionally, aggregating beliefs from the outputs of multiple rankers can improve the effectiveness of RAG. Our proposed method first aggregates the top-documents from a number of IR models using a standard rank fusion technique for each source (labeled and unlabeled). Next, we standardize the retrieval score distributions within each source by applying z-score transformation before merging the top-retrieved documents from the two sources. We evaluate our approach on the fact verification task, demonstrating that it consistently improves over the best-performing individual ranker or source and also shows better out-of-domain generalization.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01