新着研究 / RAG
似た記録に共通する成分を差し引くNEAR、学習なしで会話記憶の根拠を検索
NEAR
概要
- 各記憶の近隣から参照方向を作り、共通成分を除いた残差と元の埋め込みを合わせて検索する。
- 八つの検索課題と九つの埋め込みモデルで平均的な改善を報告し、索引を固定して一回の近似検索を行う。
- Qwen3-Embedding-4Bの平均Recall@10は62.67から69.76へ改善する一方、保存量と検索計算は増える。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NEARの仕組み
- 01質問と保存記憶
- 02近隣の参照を取得
- 03共通成分を除去
- 04元表現と融合検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
会話記録の検索では、同じ人物や出来事が何度も登場する。質問に必要な事実を含まない記録でも話題が似ていれば高い類似度を得て、正しい根拠より上に来る。単に似た文書を集めることと、回答の証拠を探すことの差が問題になる。
NEARは、混同の原因になる近隣の記録を参照情報として利用する。埋め込みは文章を数値ベクトルへ変換した表現だが、その中の共通方向を取り除けば、記録ごとの違いを検索に使えるという発想に基づく。
手法
各記憶について似た記録の近隣を求め、その共有情報から参照方向を事前に作る。質問は事前計算した表から参照を得る。両者のベクトルを参照方向へ射影し、その成分を差し引いた残差表現を構築する。射影とは、ある方向に含まれる成分だけを取り出す操作で、残差はそこから残った違いに相当する。
残差の一致と元の埋め込みの一致を組み合わせ、固定索引に対する一回の近似近傍検索で記憶を順位付けする。例えば同じ人物の近況記録ばかりが並ぶとき、特定の助言を含む記録の差分を拾う。元の表現を残すことで、共通の話題そのものが有用な信号である場合も補える。
新規性
似た記録を単なる競合候補として扱わず、各記憶の局所的な参照を作る材料に変える点が中心だ。学習なしで質問側と記憶側の両方に残差を作り、元の一致を補完する。
検索のたびに候補を深く読み直すのではなく、参照表と固定索引を再利用する設計を採る。残差方向の作り方と一致得点を組み合わせ、既存の埋め込みモデルをそのまま基盤にできる。
従来手法との違い
同じ埋め込みを使う元のコサイン類似度検索に加え、LC、InvGC、DBSNの補正や教師ありのSearch-Adaptorと比較している。専用モデルを使うBM25、ColBERTv2、XTRも同じ候補集合で評価するが、基盤モデルは異なる。
近隣を全体平均で代替する条件、参照を入れ替える条件、質問側か記憶側だけに残差を使う条件も調べた。局所性と参照の対応関係が寄与しており、単に任意の方向を引けば同じ効果が出る設計ではない。
実験結果
八つの検索課題、計5,873質問を用い、九つの固定モデルで元検索に対する平均Recall@10とNDCG@10の改善を報告する。Qwen3-Embedding-4Bではそれぞれ62.67から69.76、47.88から55.33へ上がった。
同じ回答モデルを使ったLoCoMoの正答率は同基盤で62.7から72.3へ改善した。一方、費用分析の代表的な候補集合では保存量が元の約2.02倍、ベクトル準備と検索の中央値が0.242から0.579ミリ秒へ増えた。ここには文章の符号化や回答生成の時間を含まない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、同じ顧客について蓄積した問い合わせ記録から特定の約束や対応履歴を探す仕組みだ。入力は質問と履歴、出力は根拠となる記録の順位と原文参照にする。共通の顧客名が強く一致しても、回答に必要な条件の違いを拾う狙いがある。
回答担当者は候補を開き、時点や約束の有効性を確かめる。残差検索は事実の新旧を自動で判定するものではないため、日付確認を業務の流れに組み込む。実データでの混同削減は別途測る必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、同一顧客・同一話題で内容だけが異なる履歴を含む小さな集合を作る。人が正解の根拠を指定した質問で、元の類似度検索とNEARを同じ上位件数で比較する。近隣の作成と参照の更新も実装対象に含める。
根拠回収率、順位、回答の正答率に加え、索引容量と検索遅延を記録する。四ビット圧縮を使うなら圧縮前後を測り、同じ費用上限で比較する。追加された履歴で近隣が変わる際の再構築時間も確認したい。
限界と課題
本文の費用評価は、キャッシュ済みベクトルと代表的な小規模候補集合を使った条件だ。四ビット圧縮は保存量を削減したが、圧縮した元検索より資産は大きく、検索時間を短縮する主張ではない。
質問応答の改善も全条件で一様ではなく、LongMemEvalでは九基盤中二つに小さな正答率低下がある。編集上の検証課題は、大きな日本語履歴集合、記録追加時の参照更新、日付や否定など重要な差分が残差に保持されるかである。
出典
元のタイトル・要旨を確認する（英語）
NEAR: Neighborhood-Aware Residuals for Memory Retrieval
Memory retrieval aims to identify evidence from stored records to answer a query. Stored records with different factual details may share topics, entities, or events. Such shared contents would make records without the required evidence more likely to receive high similarity scores and outrank the correct evidence. In this paper, we use the information shared by these records to construct local references for query-memory matching. We propose NEighborhood-Aware Residuals (NEAR), a training-free framework that uses these references to construct residual representations that complement the original embeddings. Specifically, each memory derives a reference direction from its neighbors, and each query obtains its reference from a precomputed table. Using these references, NEAR constructs projection residuals for both queries and memories. These residuals are combined with the original embeddings for a single approximate nearest-neighbor search over a fixed memory index. Experiments on eight long-context retrieval benchmarks show consistent improvements across nine embedding models. Downstream evaluations show that NEAR improves question-answering performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-12