新着研究 / LLM / RAG / AI Agent
社内文書を要約せず保存、質問時に版を選ぶLLMメモリーMem++
Mem++
Mem++の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Conversational vs. organizational memory. Top: a single narrator restates their own facts, and LLM extraction at ingest keeps only the surviving fact. Bottom: different authors in an organization write the same fact, and an earlier decision may still hold.
概要
- 文書を日付・著者とともに全文保存し、書き込み時に生成モデルを呼ばない。
- 質問の対象時点までの文書に絞り、語句と意味の検索順位を融合する。
- OrgMemBenchで強いメモリー方式を8.0〜13.1点上回り、gpt-4.1-miniではRAGより2.6点高い。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Mem++の仕組み
- 01日付付きの原文
- 02全文を保存
- 03時点で絞って検索
- 04文書を選び回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Mem++は、組織の判断が後から更新される文書群を、原文のまま保存して回答時に選ぶ仕組みである。社内では改訂が元の文書への上書きでなく、別の著者による新しい文書として記録されることがある。そのため現在の判断と、過去の時点の判断は異なる。
保存時に事実や短いメモへ圧縮すると、後の質問で必要になる文脈や旧版が失われる場合がある。質問がまだ分からない段階で情報を削る代わりに、どの記録を使うかの判断を読む時点まで残すのが研究の狙いだ。
手法
書き込みでは各文書の全文、日付、著者を保存する。生成モデルで要約や事実抽出を行わず、改訂前の文書も保持する。質問が指定する時点より後の文書は検索対象から外し、語句の一致を使う検索と、意味の近さを使う検索の順位を融合する。
取得した文書群からどの版が質問に対応するかを回答モデルが判断する。例えば「春の時点で採用されていた運用方針」を聞かれた場合、秋の改訂を混ぜずに春までの記録を渡す。古い文書を機械的に削除するのではなく、版の選択に必要な根拠を残す。ただし文書の選択が正しいかは回答モデルにも依存する。
新規性
著者らは記憶を作る際の要約から、読む際の選択へ処理の中心を移している。全文を保持することで、あらかじめ抽出した事実だけでは答えにくい監査や、判断変更の経緯を問う質問に対応する。
保存時の生成処理をなくす点も明確な特徴である。記録を壊さず残す設計と、質問の時点を反映した検索を組み合わせ、単なる全文投入とは異なる回答用の文書選択を行う。
従来手法との違い
比較にはMem0、Zepなどのメモリー方式、通常のRAG、全文を回答文脈へ入れる方法が含まれる。RAGは検索した文書を回答に使う方式であり、メモリー方式との差がそのままRAGとの差になるわけではない。
Mem++は旧版を保持する一方、競合する事実を上書きする方式では改訂の経緯が残りにくい。本文の比較では回答用モデルをそろえているが、埋め込みモデルなどの検索構成には違いがあるため、全要素が同一条件とはいえない。
実験結果
OrgMemBenchではgpt-4.1-miniで総合57.6点となり、RAGを2.6点上回った。最も強いメモリー方式との差は回答モデルにより8.0〜13.1点だった。gpt-4o-miniではMem++が44.2点、RAGが43.4点である。
評価の主指標はgpt-4o-miniによる判定を0〜100に換算した点数であり、正答率の百分率と同一ではない。LoCoMoでは平均判定点が最良、LongMemEval-Sではエンティティグラフを使う派生方式に次ぐ結果と報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内規程の改訂履歴に対する問い合わせで、日付を指定して当時の方針を答える。入力は原文、作成日、著者と質問、出力は対象時点の回答と参照文書とする。
人事や運用担当者が回答の根拠を原文で確認する流れを設ける。現行版だけを求める質問と、過去の判断を求める質問を分けて評価し、全文保存がどの種類の問い合わせに役立つかを調べる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:複数回改訂された文書を少数集め、現行方針、過去の方針、改訂理由を問う質問を作る。通常の検索回答と比較し、正しい版の参照率、回答の根拠一致、検索時間を測る。
質問の対象日より後の文書が混入していないかを自動で確認し、日付の欠損や同日改訂も試す。保存量と回答へ渡す文章量を記録し、保存時の生成処理を省く効果と読み出し時の負担を合わせて判断する。
限界と課題
原文を残すだけで正しい版が自動的に選ばれるわけではない。本文でも全文を一度に投入する方式の成績は低く、検索と時点の絞り込みが必要になる。判定モデルによる評価には、人の監査との一致を確認する余地がある。
編集上は、作成日と実際の適用日のずれ、文書同士の矛盾、検索で重要な旧版を取り逃す場合を調べたい。社内導入では権限に沿って参照できる文書を絞る処理も、記憶の性能とは別に確認すべき項目になる。
出典
元のタイトル・要旨を確認する(英語)
Mem++: Non-Destructive Memory for Long-Term Organizational LLM Agents
Large Language Model (LLM) agents now take part in organizational work, where many authors record decisions across documents over months. Because a revised decision arrives as a new document rather than an edit, answering a question requires knowing which version held at a given time. However, most memory systems compress the record at write time. By distilling each document into facts, notes or graph edges, these methods fix what can be answered before any question is asked. To address this, we propose Mem++, a non-destructive memory framework shifting from write-time distillation to read-time selection. Mem++ stores every document whole with its date and author, and it calls no generative model at write time. At read time, it retrieves only documents dated up to the time a question asks about and fuses lexical and semantic rankings. Unlike systems that overwrite older versions, Mem++ keeps them and leaves the choice to the answering model. Evaluations on the organizational benchmark OrgMemBench demonstrate that Mem++ surpasses the strongest memory system baseline by 8.0 to 13.1 points across two answering models. With gpt-4.1-mini, it also achieves the best overall score, 2.6 points above RAG. In addition, Mem++ achieves the best average LLM-judge score on LoCoMo and ranks second on LongMemEval-S, behind only its entity-graph variant. Code for benchmark evaluation is available at https://github.com/AIDAChip-Inc/mem-plus-plus.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-05




