アーカイブ / RAG / LLM
RAGでは検索順位の再現と正解文書の確保が回答・引用にどう影響するか
Toward Optimal Search and Retrieval for RAG
Toward Optimal Search and Retrieval for RAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example prompts for QA (left) and attributed QA (right, following ( 5 ) ).
概要
- 著者らは、厳密検索との結果の一致率と、正解文書を含む割合を分けて変え、回答と引用への影響を調べた。
- ASQAでは、MistralにBGE-baseの検索文書10件を渡したEM Recallは38.703で、正解文書だけを渡した場合は50.725だった。
- BGE-baseの近似検索実験では、検索再現率@10を0.7に設定してもASQAの正解文書再現率@10は厳密検索の0.387から0.361への変化だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Toward Optimal Search and Retrieval for RAGの仕組み
- 01質問と文書群
- 02類似文書を検索
- 03文書付きで回答
- 04回答と引用
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索拡張生成（RAG）は、質問に関連する文書を探し、その本文を言語モデルに渡して回答を作る方式である。回答が悪いとき、検索器が根拠を見つけられなかったのか、回答器が根拠を使えなかったのかを分けて考える必要がある。
検索を速める近似検索では、文書をすべて厳密に比較した場合と検索結果がずれることがある。そのずれが回答の正しさや引用にどれほど響くかを知れば、検索の設定と提示する文書数を選びやすくなる。
手法
検索器は質問に近い文書を選び、回答器は質問と文書本文を受け取って答える。近似最近傍検索とは、全候補を厳密に比べず、近い文書を効率よく探す方法である。著者らは検索器にBGE-baseとColBERTv2、回答器にMistralとLLaMAを用い、追加学習は行っていない。
例えば複数の文書に答えが分かれる質問では、選ばれた文書を質問とともに回答器へ渡す。出典付き質問応答では、回答に文書IDの引用も求める。著者らは提示文書数、正解文書の含有率、近似検索の設定を変え、正解文書の再現率、回答中の正解、引用の質を測った。
新規性
著者らは、検索結果が厳密検索とどれだけ一致するかと、正解文書がどれだけ含まれるかを別々に変え、回答と引用への影響を調べた。検索器の評価値だけでは、回答器が受け取る根拠の量を捉えきれないという問題を扱う。
BGE-baseを使った実験では、近似検索の結果が厳密検索と一致する割合を下げても、回答への影響は小さいと報告した。一方、正解文書を減らすと影響が大きかった。この違いが、検索設定を考える際の主な知見である。
従来手法との違い
基準には、文書を渡さない場合、正解文書だけを渡す場合、厳密検索で得た文書を渡す場合を用いた。著者らは提示文書数を変え、単一ベクトルで検索するBGE-baseと、語同士の対応も使うColBERTv2を比較した。
検索精度の実験はBGE-baseに限り、厳密検索と近似検索を比べた。別の実験では、正解文書の一部を正解以外の近い文書に置き換えた。これにより、検索順位の再現率が下がる場合と、回答に使える根拠そのものが減る場合を分けている。
実験結果
著者らはASQAの948問、QAMPARIの1000問、Natural QuestionsのKILT版2837問を用いた。回答のEM Recallは、データセットの短い正解文字列が出力にそのまま現れる割合である。引用再現率は各主張にそれを支える引用があるか、引用精度は個々の引用が主張の裏付けに必要かを測る。
ASQAでMistralにBGE-baseの検索文書10件を渡したEM Recallは38.703、正解文書だけでは50.725だった。BGE-baseのASQAで正解文書再現率@10は、厳密検索の0.387に対し、近似検索の検索再現率@10を0.7に設定すると0.361だった。著者らは、この条件で検索結果のずれによる回答への影響は小さいと報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：承認済みの社内規程を検索し、社員の質問に回答と参照文書IDを返す。入力は質問と現行の規程本文、出力は短い回答と、その主張を支える文書IDとする。担当者が引用先の本文を開き、回答との対応を確認する。
初期段階では追加学習用データを用意せず、規程本文を検索対象として整える。効果の検証には質問ごとの正解回答と根拠文書のラベルが必要で、センサー入力は使わない。文書の区切り方、ID、提示件数は規程の構成に合わせて調整する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現行の規程本文を文書ID付きで区切り、少数の質問に正解回答と根拠文書のラベルを付ける。初期構成に追加学習用データやセンサーは要らない。社内の文書構成に合わせて区切り方を調整し、同じ質問を厳密検索と近似検索へ入力する。
文書の提示件数を変え、根拠文書の再現率、回答のEM Recall、引用再現率と引用精度を比較する。検索時間とメモリ使用量も同じ条件で測る。文書更新後も引用先が現行版を指すかを確認し、品質と処理負荷を合わせて設定を選ぶ。
限界と課題
著者らは、近似検索の精度を変えた実験が単一の密ベクトル検索器に限られ、検索器と回答器を別々に学習した構成だけを評価したと述べている。多ベクトル検索器や、両者を一体で学習する構成への一般化は未検証である。
編集上の検証事項は、社内文書で正解文書のラベルをどう定めるか、更新前の文書を除外できるか、引用が回答の各主張を支えるかである。検索時間やメモリ使用量の具体的な改善値は、確認できた本文の範囲では示されておらず、導入先で実測する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Toward Optimal Search and Retrieval for RAG
Retrieval-augmented generation (RAG) is a promising method for addressing some of the memory-related challenges associated with Large Language Models (LLMs). Two separate systems form the RAG pipeline, the retriever and the reader, and the impact of each on downstream task performance is not well-understood. Here, we work towards the goal of understanding how retrievers can be optimized for RAG pipelines for common tasks such as Question Answering (QA). We conduct experiments focused on the relationship between retrieval and RAG performance on QA and attributed QA and unveil a number of insights useful to practitioners developing high-performance RAG pipelines. For example, lowering search accuracy has minor implications for RAG performance while potentially increasing retrieval speed and memory efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01