アーカイブ / LLM / AI Agent / RAG
検索の逸脱を途中で修正するBOUND:同じ状態で次の行動を比べて学習
BOUND
概要
- 教師用の状態要約に元の検索対象と条件を保ち、検索途中の逸脱を判断する。
- 同じ検索状態で元の行動と修正行動を比べ、検証済みの対から学生モデルを学習させる。
- 著者らはTrajectory SFT比で、BamboogleのEMが5.6ポイント、BrowseComp-Plusの回答正解率が4.8ポイント高いと報告する。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、BOUNDの仕組み
- 01質問と学生の検索履歴
- 02教師用の状態要約
- 03行動対の作成と検証
- 04学生モデルの更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
BOUNDが扱うのは、言語モデルが資料の検索と推論を繰り返すうちに、元の問いから離れてしまう問題だ。取得した資料に出た関連人物を新たな検索対象にしたり、年などの条件を落としたりすると、その後の検索も逸れた方向へ進み得る。
著者らはこれを持続的な検索ドリフトと呼ぶ。個々の検索語は自然に見えても、複数の資料をつなぐ質問では、元の対象と制約を保ち、不足する証拠を探し続けられるかが回答に関わる。
手法
まず学生モデルに検索させ、質問、過去の行動、取得済み資料を判断時点ごとに記録する。教師は元の検索対象、必須条件、確認済みの証拠、不足情報、逸脱の有無を短くまとめ、その時点で学生が選んだ行動を評価する。例えば年を指定した問いで検索語から年が消えたなら、元の条件に照らして修正できるかを判断する。
最終回答が誤りで、途中の特定の行動に修正可能な誤りがある場合は、元の行動と修正案を対にする。正答した検索では、証拠に支えられた最初の回答と不要な追加検索を対にする。形式と行動の違いを検証した対でDPO(望ましい出力を選びやすくする学習法)を行い、学生モデルを更新する。教師用の要約は運用時には使わない。
新規性
BOUNDは、学生モデルが実際に到達した検索状態を使い、その時点で取り得る二つの行動の優劣を教師に判断させる。教師用の短い記録には、元の検索対象と必須条件を残し、取得済み資料だけに引きずられた判断を防ぐ手掛かりにする。
誤った行動にはその行動に即した修正を、根拠を得て答えられる場面には回答と不要な追加検索の対比を作る。信頼できる優劣が付かない状態は学習対象から外す。
従来手法との違い
著者らによると、検索の全手順を模倣する学習や最終回答の正誤を報酬にする学習では、途中で元の対象や条件から離れた箇所を特定しにくい。途中の行動を評価する既存手法でも、見かけ上は自然な検索が逸脱を続ける場合がある。
BOUNDは、同じ質問、行動履歴、取得済み資料を共有する二つの続き方を比べる。比較の焦点は、その時点で検索対象や条件を戻すべきか、証拠が足りず検索すべきか、すでに回答できるかという局所的な判断にある。
実験結果
著者らは複数資料をつなぐ質問応答4種と深い検索3種で評価した。比較手法を同じ実験設定で再実行した6データセットでは、BOUNDが5データセット、14指標中12指標で首位と報告する。検索結果は上位5件を使い、反復検索には原則として質問当たり10手順の上限を設けた。
著者らによると、BamboogleではTrajectory SFTより完全一致率(EM)が5.6ポイント高い。固定資料群と公式評価器を使うBrowseComp-Plusは別途評価され、対応する検索操作と設定の比較で回答正解率が4.8ポイント高いと報告する。この結果は前述の6データセットの集計には含まれない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内規程について「指定した部署に、指定日以降適用される承認手順」を尋ねる検索助手に使う。入力は質問と版を区別できる規程文書、出力は該当手順と根拠箇所とする。部署や適用日を落とした検索を途中で修正する用途を想定する。
適応には、過去の質問、検索履歴、取得文書に加え、回答の正誤と根拠箇所を判定するラベルが要る。文書検索なのでセンサーは不要と想定する。規程の版、部署、適用日を検索状態で扱う調整が必要で、改善は実測して判断する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:部署と適用日を含む社内規程の質問を少数用意し、正しい回答と根拠箇所を人手でラベル付けする。元の規程文書、質問、既存助手の検索履歴をそろえ、既存助手を基準に、条件を保った回答率と根拠箇所の一致率を測る。
次に、逸脱した判断時点の履歴から修正行動との対を作り、対象業務向けに学習する。独立した質問で部署・適用日の取り違え、不要な追加検索、誤答を数える。文書のみを入力とする計画ではセンサーは不要で、判定ラベルを作る作業量も記録する。
限界と課題
著者らの方法では、教師がその時点の証拠から信頼できる優劣を付けられない状態は選好ペアにしない。また、教師用の状態要約は学習時に限って使い、運用時の学生モデルには渡さない。評価値は報告されたデータセットと検索設定に結び付く。
編集上の検証事項は、教師が誤った資料を「確認済み」と記録する頻度、回答正誤ラベルの品質、社内文書に移した際の検索環境の違いである。確認できた本文の範囲では、BrowseComp-Plusの詳細な結果表までは読めず、社内規程への転用成績も示されていない。
出典
元のタイトル・要旨を確認する(英語)
BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries
Large language model (LLM)-based deep search agents solve tasks through iterative retrieval and reasoning, but locally relevant evidence can cause persistent wrong-anchor drift, constraint drift, or local-topic drift. Existing methods supervise trajectories, outcomes, or steps, but rarely distinguish task-aligned continuations from locally plausible ones that reinforce drift. We propose BOUND, a brief-guided corrective preference distillation framework for persistent search drift. For each student-induced decision-time state, BOUND constructs a teacher-side search-state brief that preserves the original search target and key constraints while summarizing confirmed evidence, missing information, and drift status. Guided by the brief, the teacher determines whether the student's continuation contains a correctable local search-control error likely to affect subsequent decisions. Together with the rollout outcome, this assessment determines whether to construct a corrective contrast between a student-specific correction and the original continuation, or a termination contrast between a supported answer and an unnecessary retrieval continuation. Each validated state-matched preference pair operationalizes a search-control boundary. Direct preference optimization (DPO) distills these preferences into the student, while the brief and teacher-side computation remain confined to training. We evaluate BOUND on four multi-hop QA benchmarks and three deep-search benchmarks. Across the six benchmarks for which we reran baselines, BOUND leads on five datasets and 12 of 14 metrics. Under the same search-control interface and matched settings, BOUND outperforms Trajectory SFT by 5.6 EM points on Bamboogle and 4.8 accuracy points on BrowseComp-Plus. Code is available at https://github.com/RUCAIBox/BOUND.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




