アーカイブ / LLM / RAG
専門文書で質問書換器を学習し、検索語を合わせるR&R
R&R (Read the doc before Rewriting)
R&R (Read the doc before Rewriting)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: In professional QA, rewriting queries to retrieve relevant documents requires domain knowledge from the corpus. Basic rewrites are not enough.
概要
- 専門文書で質問書換器を継続事前学習し、質問と文書の用語の差を縮める手法。
- 質問・回答対から書換え例を生成し、教師あり微調整を組み合わせる。
- 著者らのSRCQA評価でR&R-7Bの正答率は0.622。AmbigQAのF1はTOCを下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、R&R (Read the doc before Rewriting)の仕組み
- 01専門文書・質問
- 02書換器を追加学習
- 03質問を書換え
- 04関連文書を検索
- 05回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
R&Rは、専門文書を探す前に利用者の質問を書き換える手法だ。検索拡張生成（RAG）は、検索した文書を回答の根拠として言語モデルに渡すが、質問と文書の言い回しが違うと必要な文書を見つけにくい。
たとえば利用者が「妻」と書き、規程が「配偶者」や「近親者」と記す場合がある。一般的な書換器が対象分野の用語や区別を知らなければ、検索に役立つ表現を補いにくい。
手法
まず対象分野の文書を学習データに変え、既存の言語モデルを継続事前学習する。これは文章の次の語を予測する学習を追加し、書換器を文書の表現に慣らす手順だ。実験ではさらに、質問・回答対を別の言語モデルに与えて書換え例を生成し、その例を正解として学ぶ教師あり微調整を組み合わせた。
利用時には、書換器が質問から検索向けの表現を一つ以上作る。たとえば「妻」を含む質問に、文書で使う「配偶者」などの語を補う。書き換えた質問に近い文書を探し、元の質問と取得文書を回答用モデルに渡して回答を作る。
新規性
R&Rの提案は、検索器や回答器ではなく、検索前の質問を書き換えるモデルに対象分野の文書を学ばせる点にある。利用者と文書の表現の差を、検索語を作る段階で縮めようとする。
著者らは、質問・回答対から書換え例を生成し、追加学習に使う手順も示した。専門家が書換え例を一件ずつ作る負担を減らす狙いである。
従来手法との違い
比較対象は、質問書換えを行うQuery2Doc、TOC、RL、RaFeと、書換えを使わないDPR、Contriever、RankRAGである。R&Rは既存の言語モデルを専門文書で継続事前学習し、実験では書換え例による教師あり微調整も加えた。
同じQwen2.5-7Bを使う書換え手法と比べると、R&RはSRCQAの正答率、SyllabusQAのF1、FintextQAの正答率で最も高かった。一方、一般分野のAmbigQAではTOCを下回る。
実験結果
著者らは専門分野のSRCQA、SyllabusQA、FintextQAと一般分野のAmbigQAで最終回答を評価した。SRCQAは中国の証券分野の資格試験に基づく2,742問である。正解の書換えや検索文書の注釈がないため、検索精度を直接測る評価ではない。
Qwen2.5-7Bを基礎とするR&R-7Bは、SRCQAの正答率0.622、SyllabusQAのF1が0.517、FintextQAの正答率0.505だった。同じ基礎モデルの他の書換え手法の最高値は順に0.444、0.494、0.493。AmbigQAのF1はR&R-7Bが0.625、TOCが0.658だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の証券関連規程を対象に、担当者の口語的な質問から該当条項を探す。入力は質問と版を固定した現行規程、出力は検索向けに書き換えた質問、参照条項、回答案とする。
学習には利用を許された規程本文が要る。微調整するなら確認済みの質問・回答対を用意し、生成した書換え例を人が点検して教師ラベルにする。追加のセンサーは不要で、社内の用語と文書形式に合わせて書換器を調整する。効果は仮説として検証する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象規程の版を固定し、利用を許された本文を書換器の追加学習に使う。確認済みの質問・回答対から書換え例を作り、人が点検したものを微調整用ラベルにする。追加のセンサーは要らず、規程の用語に合わせて学習データを整える。
保留した質問群に対し、同じ検索器と回答器で、書換えなし、既存の書換え、R&Rを比較する。回答の正答率、必要な条項が検索結果に入る割合、質問の条件の脱落、誤引用を記録する。規程改訂後にも確認する。
限界と課題
著者らは、一般分野の質問応答では大きな改善が見られず、対象分野の文書が乏しい環境では導入しにくいと述べる。複数の文書をたどる推論や複雑な論理を要する質問にも限界がある。継続事前学習だけでは、検索なしの直接回答はほぼ改善しなかった。
編集上の検証事項は、規程改訂後に古い用語を出さないか、書換えで質問の条件を落とさないかという点だ。正解の書換えと検索文書の注釈がないため、論文は検索性能を直接測っていない。
出典
元のタイトル・要旨を確認する（英語）
Read the Docs Before Rewriting: Equip Rewriter with Domain Knowledge via Continual Pre-training
A Retrieval-Augmented Generation (RAG)-based question-answering (QA) system enhances a large language model's knowledge by retrieving relevant documents based on user queries. Discrepancies between user queries and document phrasings often necessitate query rewriting. However, in specialized domains, the rewriter model may struggle due to limited domain-specific knowledge. To resolve this, we propose the R\&R (Read the doc before Rewriting) rewriter, which involves continual pre-training on professional documents, akin to how students prepare for open-book exams by reviewing textbooks. Additionally, it can be combined with supervised fine-tuning for improved results. Experiments on multiple datasets demonstrate that R\&R excels in professional QA across multiple domains, effectively bridging the query-document gap, while maintaining good performance in general scenarios, thus advancing the application of RAG-based QA systems in specialized fields.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01