アーカイブ / LLM / RAG
質問を四つの観点で書き換え、検索結果を集め直すRAG手法
DMQR-RAG
DMQR-RAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: The results of adaptive rewriting selection: distribution of rewriting number.
概要
- 四つの書き換え戦略で情報量の異なる検索文を作り、元の質問も検索に使う。
- 表1では、GPT-4で書き換えたAmbigNQのP@5がDMQR-RAGで62.43、RAG-Fusionで53.62だった。
- FreshQAで質問ごとに戦略を選ぶと、平均書き換え数はLlama3-8Bで2.482回、GPT-4で2.455回だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DMQR-RAGの仕組み
- 01元の質問
- 02戦略選択と書換え
- 03各文で検索
- 04文書再順位付け
- 05回答生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DMQR-RAGは、検索拡張生成（RAG）で使う質問を複数の形に書き換える手法である。RAGは外部文書を検索し、その内容を言語モデルの回答に渡す仕組みを指す。
質問に余分な情報や意図から外れた表現があると、直接検索では必要な文書を見つけにくい。書き換えが一種類だけでも検索結果が似通うため、著者らは異なる情報を持つ検索文を併用し、回答に必要な文書を集めようとした。
手法
入力は利用者の質問である。言語モデルは、意味を保って雑音を除く一般書き換え、名詞や主題を抜き出すキーワード化、仮の回答文を作る疑似回答、細部を省いて要点を残す核心抽出を行う。疑似回答は検索用の文であり、正解として扱わない。例えば返品期限を尋ねる文から、元の質問とは別に「返品 期限」という検索文を作る。
元の質問と書き換え文をそれぞれ検索し、得た文書をまとめて関連度順に並べ直す。評価設定ではBingで各検索文から10件ずつ取得し、BGEという再順位付けモデルで並べ替え、上位5件と元の質問をGPT-4に渡して回答させた。戦略選択では、各戦略の用途説明と選択例を言語モデルに示し、質問ごとに使う戦略を変える。
新規性
著者らが提案するのは、質問に含まれる情報量を保つ、増やす、減らすという観点から四つの書き換えを組み合わせる方法である。元の質問も検索に使い、書き換えで有用な表現が失われる場合に備える。
さらに、質問ごとに適した戦略を選ぶ。言語モデルに各戦略の説明と選択例を与え、不要な書き換えと、それによって混入する無関係な文書を減らす設計である。
従来手法との違い
比較対象には、元の質問だけで検索するOQR、単一の書き換えを使うRewriteとHyde、複数の書き換えを使うRAG-Fusionなどがある。RAG-Fusionは各検索結果の順位を使って文書を統合する。
DMQR-RAGは情報量の異なる検索文を作り、集めた文書をBGEで再順位付けする。表1ではAmbigNQの回答EMはRAG-Fusionが55.47、DMQR-RAGが55.24で、後者が全指標で上回ったわけではない。一方、HotpotQAの回答EMはDMQR-RAGが41.12、RQ-RAGが40.32だった。
実験結果
著者らはAmbigNQ、HotpotQAの検証セット、FreshQAで検索と回答を評価した。H@5は上位5件に関連文書がある割合、P@5は上位5件中の関連文書の割合で、関連性はGPT-4が判定した。回答はAmbigNQとHotpotQAで完全一致率（EM）とF1、FreshQAでGPT-4による正答率（Acc）を測った。
表1のGPT-4による書き換えでは、AmbigNQのP@5はDMQR-RAGが62.43、RAG-Fusionが53.62だった。HotpotQAの回答EMはDMQR-RAGが41.12、RQ-RAGが40.32である。著者らはFreshQAで戦略を選んだ場合、平均書き換え数がLlama3-8Bで2.482回、GPT-4で2.455回と報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程の質問応答に使う。社員の質問を入力し、版を確認できる規程文書から検索した箇所と、その箇所に基づく回答を出力する。略語や長い経緯を含む質問で、元の文と選択した書き換えを併用する。
必要な元データは検索可能な規程本文と実際の質問例である。評価用には、質問ごとに参照すべき文書・箇所と正しい回答のラベルを担当者が作る。追加のセンサーは想定せず、社内用語に合わせて書き換え例と検索対象の更新方法を調整する。効果は社内データで確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：版が確定した社内規程と実際の質問を集め、担当者が各質問に正しい参照箇所と回答をラベル付けする。必要な元データは質問文と規程本文で、追加のセンサーは想定しない。書き換えモデルの追加学習を前提とせず、まず社内用語に合う戦略説明と選択例を整える。
元の質問だけで検索するOQRを基準に、四戦略を毎回使う方式と質問ごとに選ぶ方式を同じ文書群で比べる。上位5件に正しい箇所が含まれる割合、上位5件中の関連箇所の割合、回答の一致率、質問当たりの検索回数と応答時間を測る。調整に使わなかった質問でも再確認する。
限界と課題
著者らは、書き換えを増やすと無関係な文書が混入し得ると述べる。Llama3-8Bを使った除去実験では、FreshQAで一つの戦略を外すとH@5や回答Accが改善する例があり、四戦略の一律使用が常に最適とは限らない。
編集上の検証事項：日本語の非公開規程でも適切に書き換えられるか、疑似回答の誤りが検索を偏らせないかを確認したい。産業利用の記述は途中で切れており、確認できた本文の範囲では対象の内訳や評価手順を十分に確認できない。検索回数の削減が応答時間に及ぶかも別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
DMQR-RAG: Diverse Multi-Query Rewriting for RAG
Large language models often encounter challenges with static knowledge and hallucinations, which undermine their reliability. Retrieval-augmented generation (RAG) mitigates these issues by incorporating external information. However, user queries frequently contain noise and intent deviations, necessitating query rewriting to improve the relevance of retrieved documents. In this paper, we introduce DMQR-RAG, a Diverse Multi-Query Rewriting framework designed to improve the performance of both document retrieval and final responses in RAG. Specifically, we investigate how queries with varying information quantities can retrieve a diverse array of documents, presenting four rewriting strategies that operate at different levels of information to enhance the performance of baseline approaches. Additionally, we propose an adaptive strategy selection method that minimizes the number of rewrites while optimizing overall performance. Our methods have been rigorously validated through extensive experiments conducted in both academic and industry settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01