アーカイブ / RAG
実際の検証依頼から作った、根拠検索の評価基盤FactIR
FactIR
FactIRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Factiverse fact-check editor with feedback mechanism. Example for the claim “Keto diet can cure cancer.”
概要
- 実運用の検証依頼100件と文書90,047件を使い、根拠検索の順位を測るベンチマークを構築した。
- 追加学習しない評価で、BM25のnDCG@10は0.345、Snowflake-arctic-embed-sは0.420だった。
- 関連文書には主張を支持するものだけでなく、反証に使えるものも含まれる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FactIRの仕組み
- 01実際の検証依頼
- 02候補文書を収集
- 03関連性を人が評価
- 04検索順位を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FactIRは、主張の真偽を調べる前段にある「根拠となる文書を探す」作業を測る。複数の数値や時期を含む主張では、同じ語句を含むだけの文書は役に立たず、反証に必要な資料も拾わなければならない。検索の失敗は後段の判断に使える材料を狭めるため、実際の依頼に近い条件で検索手法を比べる必要がある。
手法
FactIRは、Factiverseの検証ツールに入力された主張と、そこで提示された文書への利用者の評価から作られた。ツールは検索語の生成や文書の絞り込みを行い、複数の検索エンジンによる結果を集める。報道経験者や専門のファクトチェッカーが、文書の抜粋が主張の検証に役立つかを評価した。主張を否定する資料も「関連あり」に含む。
研究では、語句の一致を見るBM25、文章の意味を数値表現で比べる検索モデル、最初の候補を並べ直す再順位付けモデルを試した。ゼロショットとは、FactIRの主張でモデルを追加学習せず評価する条件である。上位何件に有用な文書が入るかと、その順位の良さを指標にしている。
新規性
FactIRの貢献は、新しい真偽判定モデルではなく、実運用の主張と検索結果への人手評価を組み合わせた検索ベンチマークにある。真偽を支持する文書だけでなく、反証に役立つ文書も関連資料として扱う。学習用の追加調整をしないゼロショット条件で、複数の検索・再順位付け手法を比べた。
従来手法との違い
FEVERやFEVEROUSはWikipedia由来の作成済み主張と限定された検索範囲を使う。FactIRは、実際に入力された主張と、複数の検索エンジンから集めた文書への評価を使う点が異なる。実験では古典的な語句検索のBM25が強い基準となり、一部の意味検索モデルはその値を下回った。
実験結果
著者らによると、FactIRは主張100件、文書90,047件、主張と文書の関連性評価1,413件からなる。二人の研究者が関連性評価を再確認した結果、88.03％を妥当と判断し、一致度を示すCohenのκは0.946だった。検索評価には上位k件の順位を加味するnDCG@kと、有用文書の回収率Recall@kを用いた。
上位10件のnDCGはBM25が0.345、Snowflake-arctic-embed-sが0.420だった。BM25の上位100件を並べ直す条件では、gte-multilingualのnDCG@10が0.368。数値はこの文書集合と評価済みの関連性に対する結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で公表前の説明文に含まれる数値の主張を確認する工程に使う。確認したい一文を入力し、候補文書と該当箇所を一覧で出力する。担当者が支持・反証の双方に使える文書を選び、最終的な判断と出典を記録する。FactIR自体は、この検索部分の候補順位を評価するために使う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自組織の確認業務から主張を少数選び、候補文書について「検証に使えるか」を担当者が判定する。語句検索のBM25を基準に、追加したい検索モデルと再順位付けを同じ文書集合で比較する。上位5件・10件の回収率、順位、担当者が資料を見つけるまでの時間を測る。
数値、時期、複数条件を含む主張を分けて集計する。支持する資料と反証する資料のどちらかに候補が偏る場合は、順位の平均値だけで採用を決めず、見落とした文書を個別に確認する。
限界と課題
著者らは、複数の要素を含む主張や、直接は言及しない文書からの推論が検索の難所だと説明する。編集上は、100件の主張が自組織の話題や言語に合うか、未評価文書に有用な根拠が残っていないかを確認したい。関連文書が見つかることと主張の真偽が確定することは別であり、人による判断が必要になる。
出典
元のタイトル・要旨を確認する（英語）
FactIR: A Real-World Zero-shot Open-Domain Retrieval Benchmark for Fact-Checking
The field of automated fact-checking increasingly depends on retrieving web-based evidence to determine the veracity of claims in real-world scenarios. A significant challenge in this process is not only retrieving relevant information, but also identifying evidence that can both support and refute complex claims. Traditional retrieval methods may return documents that directly address claims or lean toward supporting them, but often struggle with more complex claims requiring indirect reasoning. While some existing benchmarks and methods target retrieval for fact-checking, a comprehensive real-world open-domain benchmark has been lacking. In this paper, we present a real-world retrieval benchmark FactIR, derived from Factiverse production logs, enhanced with human annotations. We rigorously evaluate state-of-the-art retrieval models in a zero-shot setup on FactIR and offer insights for developing practical retrieval systems for fact-checking. Code and data are available at https://github.com/factiverse/factIR.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29