表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

質問履歴と文書間の近さを使い、RAGの文書キャッシュを更新するARC

ARC (Agent RAG Cache Mechanism)

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

ARC (Agent RAG Cache Mechanism)の原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: The motivations of our research: (a) The comparison between traditional and cached retrieval-augmented agent. (b) Our proposed ARCM schema.

出典:ARC (Agent RAG Cache Mechanism) / arXiv ↗

概要

  • ARCは質問履歴、検索順位、文書間の近さ、保存量を組み合わせて、RAGエージェントの文書キャッシュを更新する。
  • 著者らの表では、bge-small-enを使ったSQuADで、容量3.0 MB、検索件数50件の条件下、has-answer rateが79.80%、AMATが0.269秒だった。
  • 社内文書への適用には、質問履歴と評価用の正解参照文書を用意し、LFUとの比較や文書改訂後の挙動を確かめる必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、ARC (Agent RAG Cache Mechanism)の仕組み

左から右へ読む
  1. 01質問ベクトル
  2. 02キャッシュ検索
  3. 03必要時に全体検索
  4. 04優先度で容量調整
  5. 05検索結果の文書

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

ARCは、検索拡張生成(RAG)を使うエージェントが、手元に残す文書を決める方法だ。RAGは質問に関連する文書を探し、その内容を回答に使う方式を指す。大きな文書群を扱う際、保存量と検索時間が運用上の課題になる。

エージェントごとに質問の傾向が異なれば、役立つ文書も変わる。容量の限られたキャッシュに何を残し、どの質問で元の文書群を検索するかが重要だ。著者らは、質問履歴を使って保存内容を継続的に更新する課題を設定した。

手法

ARCは質問を数値の並びであるベクトルとして受け取り、まずキャッシュ内で近い文書を探す。結果と質問の平均距離が設定値を超える場合は、外部の全文書群から検索し直す。たとえば規程への質問に近い文書が手元になければ、元の規程群から候補を得る。

検索された文書には、過去に現れた回数に加え、検索順位と質問からの距離を反映した得点を付ける。また「ハブネス」、つまり他の候補文書の近傍に何度現れるかを数え、文書の保存量と合わせて優先度を決める。新しい候補を加えて容量を超えたら、優先度の低い文書から削除し、今回の検索結果を返す。

新規性

ARCの提案点は、過去の質問に対する検索順位と質問からの距離を使う得点に、文書同士の近さを表す得点を組み合わせたことだ。各文書の保存量も優先度に反映し、限られた容量で残す文書を決める。

著者らは、正解文書の注釈を使わずにキャッシュを更新する方式として提示する。質問に合う文書がキャッシュに乏しい場合は外部の全文書群を検索し、その結果も次の更新に利用する。

従来手法との違い

著者らはARCを、参照頻度の低い文書から消すLFU、古い文書から消すFIFO、類似した過去の質問を使うProximityとGPTCacheと比較した。文書間の近さを使わないARCも評価に含めている。

ARCでは、参照された回数だけでなく、その文書が検索結果の何位だったか、質問にどれほど近かったかを記録する。さらに、他の文書の近傍に現れる頻度を保存優先度へ加える。比較の対象は、本文に示された質問応答データと検索条件に限られる。

実験結果

著者らはSQuAD、MMLU、AdversarialQAで比較した。検索対象は2023年の英語版Wikipediaの640万超の文書を分割した1400万超の検索単位を含み、評価用の正解を含む文章も索引に加えた。特記のない条件はキャッシュ容量3.0 MB、検索件数50件である。

著者らの表では、bge-small-enを使ったSQuADのhas-answer rateはARCが79.80%、FIFOが77.04%、LFUが69.46%。平均メモリアクセス時間(AMAT)はARCが0.269秒、FIFOが0.298秒だった。元の文書群に対する保存量0.015%と平均検索遅延80%減も報告されるが、この二値の対応条件は確認できた本文の範囲では明確でない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:部署内の規程を参照する問い合わせエージェントで、小さな文書キャッシュを試す。入力は社員の質問と検索を許可された規程本文で、出力は回答作成に渡す検索結果の文書とする。キャッシュの結果が質問から遠ければ、元の文書群も検索する。

ARC自体の更新に正解ラベルは要らないが、質問履歴と、規程を検索単位に分けた本文、その埋め込み表現が必要だ。導入先の用語に合わせて検索と距離の設定を調整し、効果の判定用には質問ごとの正解参照文書を別途付ける。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象部署の規程本文を検索単位に分け、既存の埋め込みモデルで数値化する。実際の質問履歴を用意し、評価用の質問には正解参照文書を付ける。ARCの更新には正解ラベルを使わず、同じ文書群、質問順、保存容量でLFUと比較する。

正解文書が検索結果に含まれる割合、検索時間、保存量、外部検索に回った件数を記録する。部署の用語に合わせた検索設定と、外部検索を始める距離は調整用の質問で決め、最終評価には別の質問を使う。改訂した規程の旧版が残るかも点検する。

限界と課題

著者が明示した手法上の限界は、確認できた本文の範囲では特定できない。評価には英語版Wikipediaを基にした文書群と三つの質問応答データが使われた。日本語の規程文書や改訂が続く文書でも同じ成績になるかは示されていない。

編集上の検証事項として、本文はhas-answer rateを「キャッシュだけで答えられる質問の割合」と説明する一方、掲載された式は検索項目のうちキャッシュにある割合を表すように読める。指標の集計単位を確認したい。文書改訂後の旧版の扱いと、外部検索を始める距離の設定も導入先で検証が必要だ。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Cache Mechanism for Agent RAG Systems

Recent advances in Large Language Model (LLM)-based agents have been propelled by Retrieval-Augmented Generation (RAG), which grants the models access to vast external knowledge bases. Despite RAG's success in improving agent performance, agent-level cache management, particularly constructing, maintaining, and updating a compact, relevant corpus dynamically tailored to each agent's need, remains underexplored. Therefore, we introduce ARC (Agent RAG Cache Mechanism), a novel, annotation-free caching framework that dynamically manages small, high-value corpora for each agent. By synthesizing historical query distribution patterns with the intrinsic geometry of cached items in the embedding space, ARC automatically maintains a high-relevance cache. With comprehensive experiments on three retrieval datasets, our experimental results demonstrate that ARC reduces storage requirements to 0.015% of the original corpus while offering up to 79.8% has-answer rate and reducing average retrieval latency by 80%. Our results demonstrate that ARC can drastically enhance efficiency and effectiveness in RAG-powered LLM agents.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01