アーカイブ / LLM / AI Agent / RAG
調査エージェントの検索語を質問文に直し、根拠の順位付けを改善する
Query-to-Question (Q2Q)
Query-to-Question (Q2Q)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Document corpus (Recall@5)
概要
- Q2Qは、調査エージェントの検索語を自然な質問文へ変えてから検索器へ渡す方法。
- 著者らはBrowseComp-Plusの830問で、2種類のエージェント、5種類の検索器、3種類の再順位付け器を評価した。
- gpt-oss-20bとBM25、monoT5-3Bの構成では再現率0.716、正確率0.689と報告されたが、Q2Q単独の効果を示す数値ではない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Query-to-Question (Q2Q)の仕組み
- 01エージェントの検索語
- 02自然な質問文へ変換
- 03根拠候補を順位付け
- 04上位候補を返す
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
調査エージェントは、難しい問いに答えるため検索と推論を繰り返す。検索結果の順位が適切でなければ根拠を見落とし、モデルが一度に読める文章量の上限にも不要な文書が入りやすい。
従来よく使われる外部のウェブ検索サービスは順位付けの内部が見えにくく、検索方法ごとの働きを調べにくい。著者らは文書集合が固定され、関連文書を人が確認したBrowseComp-Plusで検索の構成を比較した。
手法
Q2Qは、エージェントが発行したキーワードや引用符を含む検索語を、自然な質問文に変えて検索器へ渡す。検索語だけから変換する方式に加え、直前の推論内容も入力して検索意図を伝える方式を設けた。出力は検索器に入力する質問文であり、検索器はその問いに関連する文書や段落を順位付きで返す。
例えば引用符で囲んだ語句を含む検索語なら、その語句について何を確かめたいかが分かる質問文に直す、という処理である。著者らは変換器に低推論設定のgpt-oss-20bを使い、望む文体を示すためTREC-DL 2019から選んだ質問例を入力に含めた。再順位付けとは、最初に見つけた候補を別のモデルで採点し直す処理を指す。
新規性
著者らは、調査エージェントが作るキーワード中心の検索語と、文章の関連性を判定するモデルの学習に使われた自然な質問文との形式のずれに着目した。検索前に検索語を質問文へ直すQ2Qを提案している。
Q2Qには、検索語だけを使う方式と、エージェントの直前の推論内容も参照する方式がある。後者は、短い検索語だけでは調べたい意図が分からない場合を想定したものだ。
従来手法との違い
基準となる構成では、エージェントが出した検索語をそのまま検索器へ渡す。著者らは文書全体と最大250語の段落を検索単位として比べ、BM25を含む5種類の検索器、3種類の再順位付け器、候補を採点し直す範囲も調べた。
Q2Qで変わるのは検索器へ渡す問いの形式である。著者らは神経回路網を用いる検索器と再順位付け器の性能が改善したと報告するが、確認できた本文の範囲ではQ2Q単独の改善幅を示す数値は読めない。
実験結果
著者らはBrowseComp-Plusの830問で、gpt-oss-20bとGLM-4.7-Flashの2種類のエージェント、5種類の検索器、3種類の再順位付け器を評価した。各検索で上位5件を返し、文書を読む構成では先頭512トークンに切った。指標は平均検索回数、全検索で返した根拠文書の再現率、最終回答を判定用LLMで照合した正確率などである。
著者らの報告では、gpt-oss-20bと段落単位のBM25の正確率は0.572だった。また、gpt-oss-20bにBM25とmonoT5-3Bによる再順位付けを組み合わせた構成は、再現率0.716、正確率0.689に達した。これらは各検索構成の結果であり、Q2Q単独の改善幅を示す値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内規程の改定理由を調べる担当者向けの検索支援を考える。入力は担当者の質問、利用を認めた規程と改定履歴、エージェントが作る検索語である。Q2Qで検索語を質問文に直し、該当箇所を順位付きで返して担当者が原文を確認する。
必要な元データは検索対象文書と実際の質問・検索語であり、評価には人手で確認した根拠箇所のラベルを用意する。追加のセンサーは想定しない。社内用語を変換後も保てるよう質問文の例示を調整する案だが、この用途での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象の規程と改定履歴を集め、段落に分けて元文書との対応を残す。実際の担当者の質問とエージェントの検索語を用意し、各質問の正解と必要な根拠箇所を人手で記録する。追加のセンサーは不要で、質問文への変換には社内用語を含む例示の調整を試す。
同じ質問群で、検索語をそのまま使う構成とQ2Qで変換する構成を比べる。根拠箇所が上位候補に入る割合、回答の正誤、検索回数、重要語が変換時に失われた件数を記録する。これらのラベルは検証用であり、独自にモデルを学習させるなら別途学習データの設計が必要になる。
限界と課題
著者らは、検索語だけでは意図が曖昧で、質問文への変換がエージェントの意図から外れうると説明している。また、実験に使った調査エージェントは2種類で、別のモデルや規模への拡張は研究の対象外としている。
編集上の検証事項は、専門語や引用符による厳密な指定が変換後も残るか、必要な根拠を取りこぼさないかである。確認できた本文の範囲では、Q2Q単独の数値結果や変換に要する時間を確認できず、社内文書での効果も判断できない。
出典
元のタイトル・要旨を確認する(英語)
Revisiting Text Ranking in Deep Research
Deep research has emerged as an important task that aims to address hard queries that need extensive open-web exploration. To tackle it, most prior work equips large language model (LLM)-based agents with opaque web search APIs, enabling agents to iteratively issue search queries, retrieve external evidence, and reason over it. Despite search's essential role in deep research, black-box web search APIs leave the behaviour of established text ranking methods in deep research largely unclear. To fill this gap, we reproduce key findings and best practices for text ranking methods in deep research. We examine their effectiveness from three perspectives: (i) retrieval units (documents vs. passages), (ii) pipeline configurations (different retrievers, re-rankers, and re-ranking depths), and (iii) query characteristics (the mismatch between agent-issued queries and the training queries of text rankers). We perform experiments on BrowseComp-Plus, a deep research dataset with a fixed corpus, evaluating 2 open-source agents, 5 retrievers, and 3 re-rankers. We find that agent-issued queries typically follow web-search-style syntax (e.g., quoted exact matches), favouring lexical, learned sparse, and multi-vector retrievers; passage-level units are more efficient under limited context windows, and avoid the difficulties of document length normalisation in lexical retrieval; re-ranking is highly effective. We further propose a query-to-question (Q2Q) method that translates agent-issued queries into natural language questions, significantly reducing the query mismatch.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




