アーカイブ / RAG
COVID-19論文検索で比較した、順位統合とベクトル統合の精度・速度・多様性
Hybrid Retrieval with RRF and Projection Fusion
Hybrid Retrieval with RRF and Projection Fusionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: RRF retrieval pipeline. A user query is encoded with both SPLADE (sparse) and BGE (dense) encoders. The two ranked lists of 50 candidates each are fused via Reciprocal Rank Fusion ( k = 60 k{=}60 , weights 0.6 / 0.4 0.6/0.4 for dense/sparse), then optionally reranked with MMR ( λ = 0.7 \lambda{=}0.7 ) to produce 10 diverse, relevant results. The deployed system also includes a separate single-pass B5 path described in Section III-D5 .
概要
- 専門家50問では、RRFのnDCG@10は0.8282で、BGE単独とSPLADE単独を上回った。
- 同じ50問で、B5はRRFより平均応答時間が短くILD@10が高かったが、nDCG@10は低かった。
- MMRの追加は両統合方式のILD@10を高めた一方、専門家50問のnDCG@10を下げた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Hybrid Retrieval with RRF and Projection Fusionの仕組み
- 01質問文と論文
- 02語句と文意を数値化
- 03順位かベクトルを統合
- 04上位10件を表示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、質問に関連するCOVID-19論文を探す。医学用語の言い換えがあると語句の一致だけでは関連論文を逃しやすく、上位に似た論文が並ぶと異なる知見を見渡しにくい。
著者らは2020年7月時点のTREC-COVID収録論文171,332件を対象に、語句と文意を組み合わせた検索を検討した。実務で方式を選ぶには、上位の関連度だけでなく、結果の多様性と質問から表示までの時間も確かめる必要がある。
手法
論文の表題と要約、質問文を二通りのベクトルに変える。ベクトルは文章の特徴を数値で表したものだ。SPLADEは語句の特徴を、BGEは文意の特徴を表す。例えば専門家の質問に対し、RRF方式は各表現で50件ずつ検索し、上位ほど重く扱って順位を統合し、10件を返す。両順位の重みはBGEが0.6、SPLADEが0.4である。
B5方式は、SPLADEの長い表現をランダム射影でBGEと同じ長さに縮め、両者を混ぜて一回検索する。論文側は半々、質問側はBGEを0.95とする設定を選んだ。任意のMMR再順位付けでは、質問との関連性と、先に選んだ文書との違いを考慮して表示順を決める。
新規性
本研究は、語句を捉えるSPLADEと文意を捉えるBGEを組み合わせる二方式を、同じCOVID-19論文検索で比較した。RRFは検索後の順位を統合し、B5は検索前に二種類の表現を一つのベクトルにまとめる。
B5では論文側の混合比を固定したまま、質問側の比率を変えられる。著者らは関連度に加え、結果同士の違いと応答時間を測り、方式ごとの得失を示した。
従来手法との違い
単独検索の比較対象は、SPLADEを使うB1とBGEを使うB2である。B4は両方式で別々に候補を探し、RRFで順位を統合する。B5は論文をあらかじめ混合ベクトルで索引化し、質問時には一回の検索で候補を得る。
専門家の50問ではB4の関連度が最高だった一方、B5はB4より応答が速く、結果同士の違いも大きかった。MMRを加えたB3とB5＋MMRも評価されたが、この条件では多様性の増加とともに関連度が下がった。
実験結果
著者らはTREC-COVIDの専門家による50問で、上位10件の関連度を順位も考慮して測るnDCG@10を報告した。RRFは0.8282、BGE単独は0.7803、SPLADE単独は0.7203、B5は0.6779だった。質問の符号化から結果取得までの平均時間は、RRFが1271ミリ秒、B5が847ミリ秒である。
同じ50問で、上位10件の文書同士の違いを測るILD@10はRRFが0.1760、B5が0.3890だった。MMR追加で両方式のILD@10は23.8～24.5％増え、nDCG@10は20.4～25.4％下がった。別の機械生成200問ではSPLADE単独がnDCG@10で最高の0.4272だが、正解文書を各問一件とする別の判定条件のため、専門家50問の得点と直接比較できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術報告書を探す画面で、RRFとB5を比較する。入力は社員の質問文、検索対象は表題と要約を持つ報告書とし、出力には候補文書の表題、要約、所在を表示する。これはCOVID-19論文での結果を社内文書に当てはめるための仮説である。
必要な元データは検索対象の社内文書で、追加学習はまず行わない。社員が質問ごとに候補文書の関連度ラベルを付け、社内用の評価に使う。センサーは不要で、適用時には文書の整備、索引作成、混合比の調整が必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：表題と要約のある社内文書を集め、欠損と重複を確認して索引を作る。既存のSPLADEとBGEを追加学習せずに使い、BGE単独を基準として、RRFとB5を同じ質問で比較する。必要な元データは文書本文と社員の質問で、センサー入力は不要である。
社員に候補文書の段階的な関連度ラベルを付けてもらい、nDCG@10を測る。併せてILD@10と質問から結果取得までの時間を記録する。社内文書への適用には索引の再作成と混合比の調整が要るため、比率ごとの関連度と速度を確認してから方式を選ぶ。
限界と課題
著者らは、171,332件の論文をSPLADEで符号化する処理が主な計算上の負担となり、事前計算と保存が必要だったと報告する。検索基盤のクラウドサービスへの依存、TREC-COVIDのみでの検証も挙げている。ランダム射影が最適とは限らないという指摘もある。
編集上の検証事項は、別分野で関連度と多様性の関係が再現するか、索引作成の時間と運用負担が見合うかである。B5の混合比の実験では論文側を0.50に固定しており、その値自体の最適性は確認されていない。
出典
元のタイトル・要旨を確認する（英語）
Hybrid Retrieval for COVID-19 Literature: Comparing Rank Fusion and Projection Fusion with Diversity Reranking
We present a hybrid retrieval system for COVID-19 scientific literature, evaluated on the TREC-COVID benchmark (171,332 papers, 50 expert queries). The system implements six retrieval configurations spanning sparse (SPLADE), dense (BGE), rank-level fusion (RRF), and a projection-based vector fusion (B5) approach. RRF fusion achieves the best relevance (nDCG@10 = 0.828), outperforming dense-only by 6.1% and sparse-only by 14.9%. Our projection fusion variant reaches nDCG@10 = 0.678 on expert queries while being 33% faster (847 ms vs. 1271 ms) and producing 2.2x higher ILD@10 than RRF. Evaluation across 400 queries -- including expert, machine-generated, and three paraphrase styles -- shows that B5 delivers the largest relative gain on keyword-heavy reformulations (+8.8%), although RRF remains best in absolute nDCG@10. On expert queries, MMR reranking increases intra-list diversity by 23.8-24.5% at a 20.4-25.4% nDCG@10 cost. Both fusion pipelines evaluated for latency remain below the sub-2 s target across all query sets. The system is deployed as a Streamlit web application backed by Pinecone serverless indices.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01