アーカイブ / LLM / AI Agent / RAG
検索を何回使うかも判断する――Open Deep Searchの質問応答設計
Open Deep Search
Open Deep Searchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4 : CodeAct agent in ODS-v2 answering a multi-hop question.
概要
- 検索語の言い換えと関連箇所の抽出を行う検索道具を、行動を選ぶエージェントと組み合わせる。
- ODS-v2とDeepSeek-R1は、SimpleQAで88.3%、FRAMESで75.3%の正解率と報告された。
- FRAMESでは平均3.39回検索しており、業務利用では正答率と検索回数を併せて測る必要がある。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Open Deep Searchの仕組み
- 01利用者の質問
- 02検索語の言い換え
- 03関連箇所の抽出
- 04回答の作成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルだけで事実を答えると、学習時に得た知識に頼り、質問に必要な情報をその場で確かめられない。検索結果を一度渡しても、答えが複数の資料にまたがる場合は、追加で調べる対象を選ぶ必要がある。
Open Deep Searchは、検索で関連箇所を集める道具と、その結果を見ながら次の行動を決める仕組みを組み合わせる。事実確認を伴う質問への回答を対象とした枠組みである。
手法
ODSはOpen Search ToolとOpen Reasoning Agentから成る。前者は質問を言い換えて検索し、結果のリンク先から関連する文章を取り出す。後者は言語モデルを使い、その文章を読んで回答するか、さらに検索するかなどを決める。検索で取り出した文を回答の材料にする方法は、検索拡張生成とも呼ばれる。
ODS-v1は考えと道具の使用を交互に進めるReAct方式、ODS-v2は道具を呼ぶ手順をコードで表すCodeAct方式を用いる。例えば受賞者がある本の発売時に何歳かを問われたら、受賞者の特定、誕生年と発売日の確認、年齢計算という順に必要な情報を集め、最終回答を作る。
新規性
Open Deep Searchは、基盤となる言語モデルに検索結果を渡すだけでなく、質問を解くエージェントが追加検索などの道具の使用を決める。検索側は質問の言い換え、検索結果の取得、リンク先の関連箇所の抽出を組み合わせる。
第二版のODS-v2は、道具を呼ぶ手順をコードで表すCodeAct方式を使う。質問の難しさに応じて検索回数が変わる構成を、著者らは二つの質問応答ベンチマークで検証した。
従来手法との違い
比較対象には、ウェブ検索を使わないDeepSeek-R1と、検索を使うGPT-4o Search Previewなどがある。DeepSeek-R1単体に対し、ODS-v2と組み合わせるとFRAMESの正解率は30.1%から75.3%になったと著者らは報告する。
GPT-4o Search Previewとの比較では、ODS-v2はFRAMESで75.3%対65.6%だが、SimpleQAでは88.3%対90.0%で下回る。したがって、二つの課題で一方的に優位という結果ではない。
実験結果
著者らは短い事実質問4,326件のSimpleQAと、複数の情報源を組み合わせる824問のFRAMESで正解率を報告した。ODS-v2とDeepSeek-R1の組み合わせはSimpleQAで88.3%、FRAMESで75.3%だった。
同じ組み合わせの平均検索回数は、質問当たりSimpleQAで1.45回、FRAMESで3.39回。ODS-v1とDeepSeek-R1では両課題とも平均1.00回で、正解率はそれぞれ87.7%、56.7%だった。多段階の質問では追加検索が増え、その条件下でFRAMESの正解率も高かった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内の公開資料に関する調査窓口で、複数文書をつなぐ質問への回答候補を作る。入力は担当者の質問と検索対象の文書、出力は回答、参照した箇所、追加検索の履歴とする。
例えば「ある制度の開始時期と、その後の改定時期」を問われたら、必要な資料を順に探し、日付の関係を確かめて回答案を出す。担当者は参照箇所を開いて確認し、根拠が不足する回答は差し戻す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:参照文書に正答と根拠を付けた質問を、単一文書で答えられるものと複数文書が必要なものに分けて用意する。最初の基準は一回の検索結果だけで回答する方式とする。
同じ質問でODS型の追加検索を試し、正答率、根拠箇所との一致、質問当たりの検索回数を記録する。誤答した例では、検索で必要な文が見つからなかったのか、見つけた文の読み違いかを分けて調べる。
限界と課題
論文の評価対象はSimpleQAとFRAMESという質問応答課題であり、社内資料に対する性能は示されていない。またODS-v2は複数資料を要するFRAMESで平均3.39回検索しており、検索回数の増加は処理時間や運用負荷の確認事項になる。
編集上は、検索先の品質、古い記述と新しい記述の食い違い、回答と根拠の対応を検証したい。ベンチマークの正解率だけから、業務上の回答を自動で確定できるとは判断できない。
出典
元のタイトル・要旨を確認する(英語)
Open Deep Search: Democratizing Search with Open-source Reasoning Agents
We introduce Open Deep Search (ODS) to close the increasing gap between the proprietary search AI solutions, such as Perplexity's Sonar Reasoning Pro and OpenAI's GPT-4o Search Preview, and their open-source counterparts. The main innovation introduced in ODS is to augment the reasoning capabilities of the latest open-source LLMs with reasoning agents that can judiciously use web search tools to answer queries. Concretely, ODS consists of two components that work with a base LLM chosen by the user: Open Search Tool and Open Reasoning Agent. Open Reasoning Agent interprets the given task and completes it by orchestrating a sequence of actions that includes calling tools, one of which is the Open Search Tool. Open Search Tool is a novel web search tool that outperforms proprietary counterparts. Together with powerful open-source reasoning LLMs, such as DeepSeek-R1, ODS nearly matches and sometimes surpasses the existing state-of-the-art baselines on two benchmarks: SimpleQA and FRAMES. For example, on the FRAMES evaluation benchmark, ODS improves the best existing baseline of the recently released GPT-4o Search Preview by 9.7% in accuracy. ODS is a general framework for seamlessly augmenting any LLMs -- for example, DeepSeek-R1 that achieves 82.4% on SimpleQA and 30.1% on FRAMES -- with search and reasoning capabilities to achieve state-of-the-art performance: 88.3% on SimpleQA and 75.3% on FRAMES.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-30




