アーカイブ / LLM / RAG
回答中に検索を呼ぶ方法を学ぶR1-Searcher：二段階の強化学習と複数資料を使う質問応答
R1-Searcher
R1-Searcherの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: The log of reward, response length, and retrieval numbers for Llama-3.1-8B-Instruct comparison between using GRPO and Reinforce++.
概要
- 回答中に検索語を出して外部文書を取得し、その内容を読んで推論を続ける。
- 学習では、まず検索の実行と形式を促し、次に正解回答との一致を促す。
- 表2のQwen版はHotpotQAのACC_Lが0.750だったが、Bamboogleでは比較対象のReARTeRと同じ0.544だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、R1-Searcherの仕組み
- 01複数資料を要する質問
- 02検索語を生成
- 03取得文書を読んで推論
- 04短い回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
答えを出すために複数の資料をたどる質問では、言語モデルが内部に覚えた知識だけに頼ると、必要な事実を取り違えるおそれがある。更新される情報や社内文書の内容も、外部資料を読まずに正確に答えることは難しい。
検索機能を接続しても、モデルがいつ検索し、得た記述をどう使うかは別の課題になる。R1-Searcherは、質問への回答を進めながら検索を呼び、結果を読んで推論を続ける行動を学習させる。
手法
モデルが専用の印で囲んだ検索語を出すと、生成を一時停止して外部検索を呼ぶ。得られた文書を別の印で囲んで渡し、モデルはその続きから回答を考える。例えば二つの事実を照合する質問では、一方を探した結果を読んでから、必要に応じて次の検索語を出す。文書はモデル自身の生成物ではないため、学習時の損失計算から除外する。
第一段階では検索の実行と出力形式に報酬を与え、答えの正誤は採点しない。第二段階では検索実行への報酬を外し、正解回答との語の重なりを測るF1と形式で採点する。学習には質問と正解回答、検索できる文書群が必要で、推論時には質問と検索環境から短い回答を生成する。
新規性
R1-Searcherの特徴は、検索を呼ぶ行動と、検索結果を使った正答を、二段階の強化学習で順に促す点にある。強化学習とは、出力に与えた報酬を手がかりにモデルを調整する方法である。
著者らの方法は、途中の個々の手順を採点する報酬や、別モデルの回答を模倣する初期学習を必要としない。検索で得た文書を学習計算から除外し、モデル自身が生成した文章と区別する設計も加えている。
従来手法との違い
比較対象には、検索せずに回答する方法、一般的な検索拡張生成、検索と推論を組み合わせる方法、ReARTeRなどがある。検索拡張生成とは、外部から取得した情報を回答に取り込む仕組みである。
R1-Searcherは、回答中の検索呼び出しを学習時の報酬で促す。著者らは教師あり学習との比較も示すが、手法ごとに用意した学習データと設定が異なるため、結果は記載された条件で読む必要がある。
実験結果
著者らはHotpotQAと2WikiMultiHopQAの訓練集合から学習例を選び、両集合と、学習に用いないMusique、Bamboogleで複数資料を要する質問応答を評価した。表2のACC_Rは正解文字列が回答に含まれるかを調べ、ACC_LはGPT-4o-miniが意味と重要情報の一致を判定する。
2019年版の英語Wikipediaを検索対象とする表2で、Qwen-2.5-7B-Baseを使ったR1-SearcherのACC_LはHotpotQAで0.750、2Wikiで0.650だった。GPT-4o-miniを使った比較対象のReARTeRは順に0.506、0.534である。一方、BamboogleのACC_Lは両者とも0.544だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の規程改定について、複数の文書を照合して答える窓口に使う。入力は社員の質問と検索対象の規程文書、出力は短い回答と、運用上追加する参照文書の表示を想定する。
適応には、版を確認した文書、社内の質問、確認済みの正解回答を用意する。文書を検索対象に登録し、質問中に検索語を作って取得文書を読み、回答する流れを試す。必要な入力源は文書と質問で、物理センサーは不要である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：規程の一分野に絞り、版を確認した文書群と、複数文書の照合が必要な質問、確認済みの正解回答を用意する。物理センサーは不要で、文書を検索用に整え、社内の用語に合わせて検索語の形式と検索先を調整する。
検索せずに答える方法と、同じ文書群から一度検索して答える方法を基準にする。質問ごとに正答率、参照文書の適切さ、検索回数、回答時間を記録し、古い版に基づく誤答も点検する。論文の数値を社内での改善見込みとして扱わない。
限界と課題
著者らは学習中に、検索を呼ばずに文書の形式だけを生成する例や、意味をなさない出力を報告している。また、Llamaモデルでは第一段階を省くと検索を避けて直接答える挙動があった。形式への報酬は、こうした挙動への対策として設計された。
編集上の検証事項は、社内文書から必要な記述を取得できるか、古い版を参照しないか、検索回数と回答時間が実務に収まるかである。確認できた本文の範囲では、社内文書での効果を示す評価結果はない。
出典
元のタイトル・要旨を確認する（英語）
R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning
Existing Large Reasoning Models (LRMs) have shown the potential of reinforcement learning (RL) to enhance the complex reasoning capabilities of Large Language Models~(LLMs). While they achieve remarkable performance on challenging tasks such as mathematics and coding, they often rely on their internal knowledge to solve problems, which can be inadequate for time-sensitive or knowledge-intensive questions, leading to inaccuracies and hallucinations. To address this, we propose \textbf{R1-Searcher}, a novel two-stage outcome-based RL approach designed to enhance the search capabilities of LLMs. This method allows LLMs to autonomously invoke external search systems to access additional knowledge during the reasoning process. Our framework relies exclusively on RL, without requiring process rewards or distillation for a cold start. % effectively generalizing to out-of-domain datasets and supporting both Base and Instruct models. Our experiments demonstrate that our method significantly outperforms previous strong RAG methods, even when compared to the closed-source GPT-4o-mini.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01