アーカイブ / LLM / RAG
検索結果が外れたときに回答を立て直すCRAG
Corrective Retrieval Augmented Generation
Corrective Retrieval Augmented Generationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The examples show that a low-quality retriever is prone to introducing a substantial amount of irrelevant information, impeding the generators from acquiring accurate knowledge and potentially misleading them.
概要
- 検索結果を三段階で判定し、文書抽出・ウェブ検索・併用を切り替える。
- SelfRAG-LLaMA2-7bを使ったPopQAでは、通常のRAGの40.3に対しCRAGは59.3の正答率を報告した。
- 生成モデルと課題によって改善は異なり、LLaMA2-hf-7bのPubHealthでは正答率が変わらなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Corrective Retrieval Augmented Generationの仕組み
- 01質問と検索文書
- 02文書の関連度評価
- 03参照先の切替と抽出
- 04回答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルは、学習時に得た知識だけでは事実の正確さを保証できない。RAGは外部文書を参照して回答を補う方法だが、その文書が質問と無関係なら、誤った情報をかえって回答へ持ち込む。
実務では、文書の更新や検索語のずれによって、もっともらしい検索結果が質問に答えていない場合がある。CRAGは、この検索失敗を回答前に見つけ、参照情報を選び直す課題を扱う。
手法
質問と検索済み文書を入力し、評価器が質問と各文書の組を採点する。著者らの実装では、評価器は追加学習したT5-largeで、各文書に−1から1の関連度を付ける。上側と下側のしきい値を使い、「適切」「不適切」「曖昧」の三つに分ける。たとえば規程の施行日を尋ねられ、取得文書が別制度を説明していれば、不適切と判定する対象になる。
適切な文書があれば、文書を短い情報片に分けて関連部分だけを順番に結合する。不適切な文書ばかりなら破棄し、質問を検索語に書き換えてウェブ検索する。曖昧なら内部文書とウェブ検索の双方から情報を集める。最後に、選び直した情報と質問を生成モデルへ渡して回答を作る。しきい値による分岐は、情報源をどう扱うかの判断であり、回答の正しさそのものの保証ではない。
新規性
CRAGの提案は、検索結果の質を回答前に判定し、その判定に応じて参照先を切り替える点にある。関連文書がある場合も全文を渡さず、必要な部分を選び直す。
著者らは、この訂正処理を通常のRAGとSelf-RAGの双方に組み合わせて評価した。回答モデルそのものを作り替えることを前提としない、追加可能な構成として示している。
従来手法との違い
通常のRAG（検索拡張生成）は、質問に関連しそうな文書を検索し、回答を作る言語モデルに渡す。検索結果が無関係でも、その内容が回答に入り込むおそれがある。Self-RAGは検索の要否を選ぶ仕組みを持つ。
CRAGが加えるのは、取得済み文書の質を評価した後の訂正処理だ。関連文書は必要な部分へ絞り、全件が不適切ならウェブ検索へ切り替え、判断が曖昧なら両方を使う。比較対象ごとの改善幅は生成モデルと課題によって異なる。
実験結果
著者らは、短い事実回答のPopQA、人物紹介文のBiography、健康情報の真偽判定PubHealth、科学の選択問題Arc-Challengeで評価した。指標はBiographyがFactScore、残る三つが正答率である。
SelfRAG-LLaMA2-7bを生成モデルにした通常のRAGとCRAGでは、PopQAの正答率が40.3から59.3、BiographyのFactScoreが59.2から74.1、PubHealthの正答率が39.0から75.6になった。一方、LLaMA2-hf-7bでのPubHealthは両者とも9.1で、全条件で改善したわけではない。著者らはPopQAで文書評価器の判定精度84.3も報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問応答に使う。入力は社員の質問と、社内検索で得た規程文書。CRAG型の判定で関連箇所を選び、検索結果が弱い質問は追加調査が必要な状態として扱う。
出力は、参照した規程の該当箇所を添えた回答案と、検索結果の判定記録にする。論文のウェブ検索を社内規程にそのまま適用すると情報源が混ざるため、この用途では参照範囲を先に決め、外部検索の採否も検証項目に含める。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内規程の質問を、検索結果が適切な例、無関係な例、判断が難しい例に分けて少数ずつ用意する。各質問に、担当者が確認した正答と根拠箇所を付ける。
既存のRAG回答を基準に、同じ質問をCRAG型の分岐で処理する。回答の正答率、根拠箇所の一致率、誤った文書を採用した件数、回答までの時間を比較する。外部検索を使う設定は別条件として測り、社内文書だけでの効果と混同しない。
限界と課題
著者らは、検索品質が下がるにつれてSelf-CRAGの回答性能も下がったと報告している。改善幅がある一方、検索の誤りを完全に吸収する結果ではない。また、PubHealthでは生成モデルが真偽の指定形式に従えず、精度が低くなった例を挙げる。
編集上の確認課題は、文書評価器が対象分野の用語を正しく判定するか、ウェブ由来の情報を許せるか、追加検索と文書処理が応答時間にどう影響するかである。論文のベンチマーク結果から、社内文書での正確さを直接推定することはできない。
出典
元のタイトル・要旨を確認する（英語）
Corrective Retrieval Augmented Generation
Large language models (LLMs) inevitably exhibit hallucinations since the accuracy of generated texts cannot be secured solely by the parametric knowledge they encapsulate. Although retrieval-augmented generation (RAG) is a practicable complement to LLMs, it relies heavily on the relevance of retrieved documents, raising concerns about how the model behaves if retrieval goes wrong. To this end, we propose the Corrective Retrieval Augmented Generation (CRAG) to improve the robustness of generation. Specifically, a lightweight retrieval evaluator is designed to assess the overall quality of retrieved documents for a query, returning a confidence degree based on which different knowledge retrieval actions can be triggered. Since retrieval from static and limited corpora can only return sub-optimal documents, large-scale web searches are utilized as an extension for augmenting the retrieval results. Besides, a decompose-then-recompose algorithm is designed for retrieved documents to selectively focus on key information and filter out irrelevant information in them. CRAG is plug-and-play and can be seamlessly coupled with various RAG-based approaches. Experiments on four datasets covering short- and long-form generation tasks show that CRAG can significantly improve the performance of RAG-based approaches.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29