表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

撤回した話題を消さずに休止するMemRevise、会話検索で訂正と話題復帰を扱う

MemRevise

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • 会話の話題に追加・放棄・再活性化などの操作を記録する記憶グラフを使う。
  • 4,429問のConvReviseで、訂正や過去の話題への復帰を分けて評価する。
  • 検索器固定で平均MRR@10は0.701、記憶なしの同条件学習モデルは0.617だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、MemReviseの仕組み

左から右へ読む
  1. 01会話の新しい発言
  2. 02記憶ノードと操作
  3. 03話題の状態更新
  4. 04記憶を使う検索
  5. 05関連文書

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

MemReviseは、利用者が途中で取り消した条件や、再び戻ってきた話題を区別して会話検索を行う方法である。会話の履歴を全て同じ重みで蓄積すると、「前の製品ではなく別の製品」と訂正されても、古い対象が検索に残ってしまう。

一方、撤回された情報を完全に消すと、後で「さっきの話へ戻る」と言われたときに必要な文脈を失う。研究は情報を保存することと、現在の検索で有効にすることを分けて扱っている。

手法

教師モデルの記憶出力から学習した3Bの書き手モデルが、各ターンを一度読み、話題、事実、操作を持つノードを加える。操作には話題の追加、放棄、再活性化などがあり、その積み重ねから現在有効な話題を決める。

例えば製品Aの質問を製品Bへ訂正した場合、Aの事実は記録に残しながら検索への利用を止める。後でAへ戻れば、その事実を再利用できる。検索はこうした状態を手掛かりにクエリを作り、不要になった文脈の影響を抑える。単なる長い会話の要約ではなく、話題の有効状態を明示する構成である。

新規性

記憶を追記するだけでなく、撤回と復帰を操作として表現する点が主張の中心である。記憶内容を捨てずに現在の意図から外すことで、古い情報があることと今も要求されていることを区別する。

評価用にも、訂正や自己修正、値の変更、話題への復帰などを分けたConvReviseを用意した。会話の全体平均だけでは見えにくい、文脈の状態変更への追従を調べる狙いがある。

従来手法との違い

検索器を固定した比較では、最有力の競合ConvSearch-R1-FTと、同じ3Bモデル・同じ蒸留方式で学ぶ記憶なしの書き手を基準にしている。これにより、教師から学ぶ効果と記憶構造を加える効果を分けている。

履歴から直接クエリを作る記憶なし構成でも成績は上がるが、MemReviseはさらに改善した。ただしCORALでは、プロンプトを使う32Bの書き換えモデルに対して統計的に同等であり、全条件で有意に上回るという結果ではない。

実験結果

ConvReviseはTopiOCQA、CORAL、OR-QuACを基に、復帰や修正の六種の階層で計4,429のテスト質問を持つ。著者らの平均MRR@10はMemReviseが0.701、最良の競合が0.589、記憶なしの書き手が0.617だった。

MRRは最初の正解が何位に来たかを逆数で評価する指標であり、回答文そのものの正答率ではない。TopiOCQAとOR-QuACでは有意に改善し、個別階層でも最強の競合に有意に劣る例は報告されていない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の仕様相談で、担当者が製品番号や対象版を訂正しながら検索する場面に使う。入力は会話と製品文書、出力は現在の対象版に対応する根拠ページとする。

訂正前の対象も記憶に残し、比較へ戻る際に再利用する。画面には現在有効な製品と版を表示すれば、検索器の内部状態が利用者の意図と合っているかを確認しやすい。これは論文の実証済み機能ではなく、記憶構造を業務へ応用する案である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:製品の切替、条件の撤回、以前の話題への復帰を含む対話を作り、履歴全体の書き換えと記憶付き検索を同じ検索器で比較する。正解ページの順位と、撤回済み対象の混入率を測る。

書き手が選んだ放棄・再活性化の操作も記録し、検索失敗が状態更新と文書検索のどちらで起きたかを確認する。長い対話では保存量と更新時間を測り、誤った状態を利用者が訂正できる手順も試す。

限界と課題

確認できた本文の結果は特定の会話検索データに基づくもので、社内の略語や複雑な複数製品の比較まで検証したわけではない。コードと学習済み書き手は掲載時点で出版時の公開予定と記載されている。

編集上の確認点は、曖昧な撤回や一部だけの条件変更で話題を広く止めすぎないかである。記憶ノードに誤りが入ると後の検索へ引き継がれるため、グラフの存在だけで意図理解の正確さが保証されるものではない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

MemRevise: A Self-Revising Memory for Conversational Search

In conversational search, users correct misun-derstandings, revise their requests and return to earlier topics, so part of the history no longer reflects what they want. Existing benchmarks do not isolate such turns. Current search methods either re-read the history or keep a record of every turn, and none of them marks earlier content as dropped. We introduce CONVREVISE, a benchmark of 4,429 test questions in six tiers of returns and revisions over TopiOCQA, CORAL and OR-QuAC. We also propose MEMREVISE, which combines a revisable memory graph, a 3B writer distilled from teacher memories, and a search guided by the memory. The writer reads each turn once and adds a node that records its topic, its facts and the operations it performs, such as adding, abandoning or reactivating a topic. Topic status follows from these operations, so a dropped topic keeps its facts and can be restored. With a frozen retriever, MEMREVISE reaches a mean MRR@10 of 0.701, against 0.589 for the best competitor, ConvSearch-R1-FT, and 0.617 for a writer distilled the same way without the memory, so the memory and the steps built on it add 0.084. MEMREVISE is significantly better on Topi- OCQA and OR-QuAC, statistically tied with prompted 32B rewriters on CORAL, and never significantly behind the strongest competitor of any tier.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-20