アーカイブ / LLM / AI Agent
調査を続けるAIが、次の一手に必要な記憶を自分で残す方法
MemPO
MemPOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The self-memory inference process of our method, which only uses the previous step interaction for next step input with <mem> action.
概要
- MemPOは各段階の情報をモデル自身が要約し、直前の記憶を次の入力に使う。
- 学習時は最終回答の評価に加え、各記憶が正解を出す確率に与える影響を評価する。
- 著者らのローカルWiki検索評価では、全目的平均F1が37.63だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MemPOの仕組み
- 01質問と前回の記憶
- 02記憶を更新
- 03推論と検索
- 04回答案
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MemPOは、検索などを繰り返すAIが、次の作業に必要な情報を自分で要約して残す方法である。複数段階の調査で結果を履歴へ足し続けると、入力が長くなり、処理する文章量と費用が増える。
モデルに一度に渡せる文章量にも上限がある。一方、履歴を短くする際に後で必要な条件を捨てれば、回答を誤り得る。何を記憶に残すかが、長い調査を実務で使う際の問題になる。
手法
モデルは質問と直前の記憶を受け、残すべき情報を要約する。続いて推論し、必要なら検索などの道具を呼ぶ。例えば二つの事実が必要な質問では、先に確認した事実を記憶に残し、次の検索へ進む。次段階には履歴全体ではなく直前の記憶を渡し、情報がそろえば回答する。
学習では、複数の実行過程を最終回答の正誤と出力形式で評価する。さらに各段階で、正解を出す確率が記憶によってどう変わるかを測り、記憶部分の語に追加の評価を与える。これは「どの途中の行動が結果に役立ったか」を割り当てる仕組みで、正解に必要な情報を残すようモデルを調整する。
新規性
MemPOは、最終回答の正誤と出力形式による評価に加え、各段階の記憶が正解に役立つかを学習時に評価する。正解を出す確率が、記憶によってそれ以前の履歴よりどれだけ変わるかを手掛かりにする。
その評価を記憶部分の語に追加して学習するため、途中の要約にも課題の目的に沿った指針を与えられる。著者らは記憶の更新、推論、道具の呼び出しを同じモデルの行動として扱う。
従来手法との違い
ReActは検索結果などを履歴へ追加して次の入力に使う。外部記憶方式は保存した情報を検索して戻す。MemPOではモデル自身が次に渡す記憶を作り、その内容を回答に役立つよう学習する。
比較対象には、記憶を使わず同じ環境で学習したGRPOも含まれる。GRPOは複数の実行結果を相対評価する学習法で、最終結果だけの評価では途中の記憶を個別に指導しにくい。MemPOは記憶部分に追加の評価を与える。
実験結果
著者らはHotpotQAとNQの検証用質問を組み合わせた2目的課題と、HotpotQAの検証用質問から作った4・6・8・10目的課題を評価した。全方式の基盤はQwen2.5の7Bモデルで、学習時の検索にはローカルWikiを使用した。指標は語単位の一致度F1、完全一致率EM、総トークン数TT、各段階の最大トークン数PTである。
著者らの表では、ローカルWiki検索の全目的平均F1はMemPOが37.63、記憶なしGRPOが30.53、ReActが11.65だった。TTの表記値は順に1.18、4.39、3.64。Web検索の平均F1はMemPOが38.79、MEM1が28.04である。表のTTの単位は確認できた本文の範囲では明示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程を横断し、複数の条件に合う申請手順を調べる支援を検討する。入力は担当者の質問と検索対象の規程文書、出力は根拠箇所を確認できる回答案と、調査を続けるための短い記憶とする。
検討には利用可能な文書、質問と正解の組、根拠箇所のラベル、検索から回答までの記録が要る。画像・音声センサーは使わない。社内用語と文書の版に合わせて検索先と記憶の作り方を調整し、回答は担当者が確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用対象の規程文書から、複数の条件をたどる質問、正解、根拠箇所のラベルを用意する。検索結果と各段階の記憶を記録し、社内用語や文書の版に合わせて検索先と記憶の作り方を調整する。センサー入力は不要とする。
履歴を蓄積する方式を基準に、同じ質問と文書で回答を比べる。正解との一致、根拠箇所の保持、総トークン数、段階ごとの入力長を測る。条件の多い質問では、短い記憶が例外規定を落としていないか担当者が確認する。
限界と課題
著者らが課題として挙げるのは、履歴の増大による入力長と費用の増加、長い入力で重要情報を見失う問題である。確認できた本文の範囲では、評価対象は複数の質問を組み合わせた課題であり、社内規程への適用結果は示されていない。
編集上の検証事項は、記憶の更新時に例外条件や出典が消えないか、文書改訂後も根拠が追えるかである。また要旨の「従来の最良手法よりF1が7.1高い」という記述は、表では記憶なしGRPOとの差に当たる。比較対象の説明には食い違いがある。
出典
元のタイトル・要旨を確認する（英語）
MemPO: Self-Memory Policy Optimization for Long-Horizon Agents
Long-horizon agents face the challenge of growing context size during interaction with environment, which degrades the performance and stability. Existing methods typically introduce the external memory module and look up the relevant information from the stored memory, which prevents the model itself from proactively managing its memory content and aligning with the agent's overarching task objectives. To address these limitations, we propose the self-memory policy optimization algorithm (MemPO), which enables the agent (policy model) to autonomously summarize and manage their memory during interaction with environment. By improving the credit assignment mechanism based on memory effectiveness, the policy model can selectively retain crucial information, significantly reducing token consumption while preserving task performance. Extensive experiments and analyses confirm that MemPO achieves absolute F1 score gains of 25.98 over the base model and 7.1 over the previous SOTA baseline, while reducing token usage by 67.58% and 73.12%. The code is released at https://github.com/TheNewBeeKing/MemPO.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01