アーカイブ / LLM / RAG / AI Agent
検索を重ねても根拠を追えるように、記憶の断片を組み直す
MemSearch-o1
MemSearch-o1の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview Framework of MemSearch-o1. (a). Our MemSearch-o1 enables memory growth and retracing in the agentic. (b). The memory fragments are grown from the seed tokens extracted from the search queries, which enables efficient and effective semantic exploration. (c). Retrace and construct a memory path based on their relevance to the original question and the relevance among the memory fragments to enhance the reasoning process.
概要
- 検索語を主語・動作・程度・時点の手掛かりに分け、取得文書から短い記憶断片を作る。
- 回答前に全検索回の断片を選び直し、質問との関連性と断片間のつながりから記憶経路を組む。
- LongBenchの８項目平均はQwenで45.53％、DeepSeekで48.17％だったが、全項目で比較手法を上回ったわけではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MemSearch-o1の仕組み
- 01元の質問
- 02検索語と種の抽出
- 03文書検索と断片生成
- 04記憶経路の再構成
- 05回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MemSearch-o1は、検索と推論を繰り返す大規模言語モデルの記憶を整理する。過去の推論や取得文書が積み重なると、回答に必要な情報が長い履歴に埋もれ、モデルが参照しにくくなる。著者らはこれを「記憶の希薄化」と呼ぶ。
複数の文書に分かれた事実を結ぶ質問では、後の検索で初めて重要になる記述もある。履歴を短くする際に細かな関係を失わず、回答時に必要な根拠を取り出せるかが課題となる。
手法
モデルは元の質問から次の検索語を作り、検索語中の主語・動作・程度・時点を「記憶の種」として取り出す。取得した文書と種をモデルに渡し、種に関係する短い文章を「記憶断片」として生成する。例えば障害の復旧理由を尋ねる場合、時点や復旧という動作に関する記述を拾う。生成した断片は次の検索と推論にも渡される。
検索後は全回の断片を集める。文章を数値の並びに変えて近さを測る方法で、元の質問との関連性と他の断片をつなぐ度合いを計算し、得点の低い断片を除く。残った断片を隣同士の意味がつながる順に選ぶ「記憶経路」を作り、その経路から回答を生成する。
新規性
著者らが提案するのは、検索語を主語・動作・程度・時点の手掛かりに分け、取得文書から手掛かりごとに短い記憶断片を育てる方法だ。検索が進んで問いが変化しても、その時点の検索語に沿って情報を残す。
回答前には全検索回の断片を見直し、元の質問との関連性と断片同士をつなぐ度合いで選別する。さらに意味のつながりを考慮して経路に並べ、回答の材料とする。
従来手法との違い
比較対象は、取得文書から回答するDirect RAG、反復検索を行うSearch-o1（RAgent）、記憶を管理するSearch-o1（Refined）、MemoryBank、A-Mem、Amberである。MemSearch-o1は各検索回で記憶断片を作り、最後に全回分を選び直す。
LongBenchの８項目平均では両モデルで比較手法を上回った。ただし項目ごとの優劣は異なり、Qwenを使ったMuSiQueではMemSearch-o1の44.11％に対し、Search-o1（RAgent）は44.78％だった。
実験結果
著者らはLongBenchの複数文書・単一文書の質問応答８項目で比較した。DuReaderはROUGE-L、それ以外はQA-F1で評価した。検索は最大５回、各回で256トークンに分けた文書片の上位３件を取得し、Qwen2.5-72B-InstructとDeepSeek V3.1を用いた。
表１の８項目平均はMemSearch-o1がQwenで45.53％、DeepSeekで48.17％。各モデルで平均が最も高い比較手法は、それぞれSearch-o1（RAgent）の38.62％、Amberの39.79％だった。著者らは別途、LongBench v2とLongBookQAでも評価している。これらは提示された条件での結果であり、社内文書への適用結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の障害報告書を対象に、複数の報告書にまたがる原因と復旧判断を調べる。入力は利用権限を確認した報告書群と質問、出力は担当者が原文と照合できる根拠付きの回答案とする。
対象となる報告書と、評価用には担当者が作る正答・根拠箇所のラベルが必要だ。センサーは使わず、追加学習は前提にせずに試す。社内用語を含む検索語の分け方、文書の分割、権限に応じた検索対象を調整する。効果は実測で判断する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：権限を確認した障害報告書を少数選び、複数文書を読む必要がある質問を作る。担当者が正答と根拠箇所を付け、評価用のラベルにする。センサーは不要で、追加学習を前提とせず、社内用語の抽出と文書分割を対象資料に合わせて調整する。
同じ報告書、質問、検索回数でDirect RAGと比較する。正答率に加え、根拠箇所の一致、日付・否定の取り違え、１問当たりの処理時間を記録する。誤答では断片の生成時と経路の選択時のどちらで根拠が失われたかを原文までたどる。
限界と課題
著者らは、Qwenを用いた取得件数の変更実験で、2WikiMQAでは件数を増やしすぎると冗長な情報が増え、精度が下がり検索回数も増える一方、MuSiQueでは件数を増やすと性能が伸びると報告する。適切な取得件数は課題に左右される。
編集上の検証事項は、断片化で否定や日付が欠けないか、意味が近いだけの記述を誤って結ばないかである。社内文書での精度、処理時間、根拠箇所の提示、権限制御については確認できた本文の範囲では評価されていない。
出典
元のタイトル・要旨を確認する（英語）
MemSearch-o1: Empowering Large Language Models with Reasoning-Aligned Memory Growth in Agentic Search
Recent advances in large language models (LLMs) have scaled the potential for reasoning and agentic search, wherein models autonomously plan, retrieve, and reason over external knowledge to answer complex queries. However, the iterative think-search loop accumulates long system memories, leading to memory dilution problem. In addition, existing memory management methods struggle to capture fine-grained semantic relations between queries and documents and often lose substantial information. Therefore, we propose MemSearch-o1, an agentic search framework built on reasoning-aligned memory growth and retracing. MemSearch-o1 dynamically grows fine-grained memory fragments from memory seed tokens from the queries, then retraces and deeply refines the memory via a contribution function, and finally reorganizes a globally connected memory path. This shifts memory management from stream-like concatenation to structured, token-level growth with path-based reasoning. Experiments on eight benchmark datasets show that MemSearch-o1 substantially mitigates memory dilution, and more effectively activates the reasoning potential of diverse LLMs, establishing a solid foundation for memory-aware agentic intelligence.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01