アーカイブ / LLM / RAG / AI Agent
検索文書が質問にどう役立つかを説明するRAG「Verbal-R3」
Verbal-R3
Verbal-R3の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of Search-R1 vs. Verbal-R3 inference procedures. The original document contains a large amount of extraneous information, which makes Search-R1 hallucinate and produce an incorrect answer. In contrast, Verbal-R3 successfully exploits Verbal Annotations to distinguish relevant information, allowing the Generator to avoid hallucinations and generate a correct answer.
概要
- Verbal Rerankerが検索文書ごとに1～5の関連度と、質問との関係を説明する言語注釈を生成する。
- Generatorは注釈を使って検索と回答を進め、推論時には関連度を検索経路の選択にも使う。
- 著者らの七つの質問応答データセット平均では、3Bの生成側でSearch-R1よりEMとF1が高かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Verbal-R3の仕組み
- 01利用者の質問
- 02候補文書を検索
- 03関連度と注釈を作成
- 04回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索拡張生成（RAG）は、外部文書を探して大規模言語モデルの回答に取り込む方法だ。取得した文章をそのまま渡すと、質問に無関係な記述も混じり、必要な根拠を回答に結び付けにくい。
複数の文書をたどる質問では、どの検索結果が次の手掛かりになるかの判断も要る。実務では回答だけでなく、参照した記述が質問にどう関係するかを確認できることが、内容の点検に役立つ。
手法
Verbal-R3は、回答を作るGeneratorと、検索文書を評価するVerbal Rerankerで構成する。Generatorが質問から検索語を作り、検索器が候補を取得する。Rerankerは文書ごとに1～5の関連度と、質問との論理的なつながりを述べる「言語注釈」を作る。掲載された推論設定では15件から上位3件を選び、その注釈と関連度をGeneratorに返す。
例えば仕様変更の理由を尋ねる場合、変更履歴の記述が質問にどう役立つかを注釈で示す。Generatorは必要なら検索を繰り返す。学習時には大きなモデルが作った検索語・文書・注釈の組を小型Rerankerに学ばせ、続いて回答の正誤と形式を評価に用いてGeneratorを調整する。推論時には関連度を使って検索経路を選び、最後に回答をまとめる。
新規性
検索文書を順位付けするVerbal Rerankerが、1～5の関連度に加え、質問と文書の論理的なつながりを述べる言語注釈を作る。回答を作る側は、選ばれた注釈を次の推論に使える。
著者らはさらに、関連度を検索語の評価にも利用する。複数の検索経路を試す際、有望と判断した経路に推論時の計算を配分する仕組みを組み合わせた。
従来手法との違い
比較対象のSearch-R1は取得した文書を生成モデルに渡す。Verbal-R3では、Verbal Rerankerが文書を評価し、上位の文書について質問との関係を説明した注釈を生成モデルに渡す。
著者らの事前分析では、Search-R1に文書の言い換えを加えた場合と、関係を説明する注釈を加えた場合も比べた。掲載された七つの質問応答データセット平均では、言い換えだけでは元のSearch-R1の成績を上回らず、注釈を加えた場合は上回った。
実験結果
著者らはNQ、TriviaQA、PopQAと、複数段階の推論を要する2WikiMultiHopQA、Bamboogle、MuSiQue、HotpotQAで評価した。指標は回答の完全一致率（EM）と、回答語の重なりを測るF1である。
表4の七データセット平均では、生成側がQwen2.5-3Bの場合、Search-R1のEM 38.75、F1 46.31に対し、Verbal-R3はEM 45.36、F1 54.66だった。著者らは、125問のBamboogleについて16回の抽出結果を平均したと述べる。これらは掲載された質問応答課題での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：版を管理した社内製品仕様書と変更履歴について、仕様変更の理由を尋ねる窓口で試す。社員の質問から文書を検索し、回答、参照文書、各文書が質問に関係する理由を担当者に提示する。
適用には検索対象の文書が必要で、学習や検証を行うなら正解を確認した質問・回答、関連文書のラベル、注釈例を用意する。物理センサーは不要。社内用語と文書の版の扱いに合わせて検索と注釈を調整し、担当者が根拠を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：版の分かる社内仕様書と変更履歴を検索対象にし、担当者が正解回答と根拠文書を確認した質問集を作る。注釈を社内向けに学習するなら、質問・文書・関連度のラベルと注釈例も必要になる。物理センサーは使わず、社内用語と版の表記に合わせて検索と注釈を調整する。
同じ文書と質問集を使い、取得文書をそのまま渡すRAGと比較する。回答のEMに加え、根拠文書の選択率、注釈が示す理由の妥当性、質問当たりの処理時間を測る。誤答や古い版を参照した例は担当者が確認する。
限界と課題
著者らは、大きなモデルを注釈生成のたびに呼ぶ計算費用を課題として挙げ、小型のVerbal Rerankerへ知識を移す学習を採用した。また、検索文書に無関係な情報が混じると、回答に必要な内容を使いにくくなると説明している。
編集上の検証事項は、注釈が誤った文書にももっともらしい理由を付けないか、文書更新後も関連度が妥当か、追加の検索や注釈生成に要する時間と費用が許容範囲かである。確認できた本文の範囲では、社内文書での成績は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Verbal-R3: Verbal Reranker as the Missing Bridge between Retrieval and Reasoning
The conventional Retrieval-Augmented Generation (RAG) paradigm of injecting raw retrieved texts into the Large Language Model (LLM)'s context often results in suboptimal integration of retrieved information. This paper proposes to bridge retrieval results and the LLM's reasoning ability through Verbal Annotations, analytic narratives that explicitly articulate the logical connection between a search query and retrieved contexts. Our empirical investigation reveals the potential of Verbal Annotations to substantially enhance the LLM's ability to generate accurate, contextually-grounded responses. Motivated by this finding, we introduce Verbal-R3, a novel agentic RAG framework that consists of a Generator and a Verbal Reranker. The Generator performs iterative retrieval and reasoning, while the Verbal Reranker returns relevance scores and Verbal Annotations to guide the reasoning and answering process of the Generator. The inference process of Verbal-R3 is further refined through relevance-guided test-time scaling, which efficiently allocates test-time compute for effective trajectory expansion. Verbal-R3 achieves state-of-the-art performance on complex Question Answering benchmarks, validating the effectiveness of the proposed framework.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01