アーカイブ / RAG
過去の検索評価で、未来の検索履歴が得点を押し上げていないか
PIT Discovery
PIT Discoveryの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Freezing the corpus does not freeze historical system state. Full-log memory leaks post-anchor interactions into a replay, while PIT Discovery binds the frozen corpus D t D_{t} to memory M < i M_{<i} available before query q i q_{i} . A timeline separates past and future interactions at anchor query q sub i. Full-log memory leaks future interactions into a frozen-corpus replay, while PIT Discovery blocks post-anchor traces and combines the frozen corpus with memory available before the anchor.
概要
- 過去の検索評価には、資産集合だけでなく、検索履歴が当時利用できたかの確認が要る。
- 著者らの12設定では、FutureのAsset Recall@100はPITより2.62～5.24ポイント高かった。
- 同じ質問を時点別の履歴で再実行し、得点差と選ばれた履歴の時刻を監査する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PIT Discoveryの仕組み
- 01資産と質問
- 02検索履歴を記録
- 03時点別に履歴選択
- 04資産を再順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PIT Discoveryは、過去の検索を再現する際に、検索履歴も当時利用できた範囲へ戻して評価する方法である。文書集合だけを過去の状態に固定しても、検索器が後日の質問や検索結果を覚えていれば、当時はできなかった検索になる。
表と文章を組み合わせて必要な資産を探す評価では、この違いが得点に表れる。得点だけでは、履歴が過去のものか、後から得た情報を含むかを判別できないため、履歴の時刻も確認する必要がある。
手法
資産集合と検索索引を固定し、質問を到着順に並べる。各質問について基本検索器の上位50資産と得点、観測位置、検索元の版を履歴に記録する。この履歴は検索時の行動記録で、正解の資産IDや回答は入れない。
対象の質問では、基本検索の上位200資産を共通の出発点にする。PITはそれ以前の履歴だけ、Futureは対象自身を除く後の履歴も候補とし、どちらも最大32件を使って同じ規則で資産を並べ直す。例えば売上を尋ねる質問に対し、翌週の似た質問の記録はFutureでだけ利用できる。
新規性
PIT Discoveryは、同じ質問、資産集合、索引、基本検索順位、再順位付け規則、参照件数を固定し、履歴の利用可能時刻だけを変えて比較する。これにより、後から得た履歴が検索得点に与える直接の差を測る。
さらに、再順位付けに使われた履歴の記録位置を残し、対象の質問より後の履歴が占める割合を時刻違反率として示す。得点と履歴の適格性を別々に点検できる。
従来手法との違い
履歴を使わないStatelessを基準とし、対象の質問より前の履歴だけを使うPITと、対象自身を除く全期間の履歴を使うFutureを比較する。PITとFutureには同じ基本検索結果と履歴参照枠を与える。
著者らの検索行動だけを記録した履歴では、PITはStatelessより低得点で、Futureはその損失の32.7～48.4％を覆い隠した。正の反応を模した別のキャッシュではPITにも改善があり、Futureにはさらに上積みがあった。
実験結果
著者らはConvFinQA、HybridQA、TATQA由来の表と文章の資産を使い、質問列２種、検索器２種、乱数の初期値５種を組み合わせ、９条件で計216,000行を評価した。Asset Recall@100は、必要な資産のうち上位100件に入った割合である。FutureはPITより2.62～5.24ポイント高く、12設定すべてで対応のある推定区間は差のゼロを含まなかった。
時刻付きのFreshStackでは、５話題の592件の評価対象についてFutureがPITを2.72ポイント上回り、示された区間は1.75～3.71ポイントだった。これらは著者らが固定した検索器と履歴方式での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の表と文書を探す検索の更新判断に、この対比較を使う。入力は評価時点で利用できた資産と索引、質問の到着時刻、過去の検索上位資産である。PITとFutureで同じ質問を再検索し、得点差と選ばれた履歴の時刻を担当者に示す。
履歴作成には正解付き学習データや追加センサーを使わず、質問と検索結果の記録を使う。精度評価には質問ごとに必要な資産IDのラベルが要る。社内の記録形式に合わせ、履歴の時刻判定と出典記録を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：評価日を決め、その日に利用できた表・文書、索引、質問と検索上位資産の記録をそろえる。履歴を作るための追加センサーや正解付き学習データは使わない。検索元と観測時刻を記録し、社内の資産IDと履歴形式に合わせて時刻の絞り込みを実装する。
質問ごとに必要な資産IDを評価用ラベルとして付け、同じ質問と基本検索結果でStateless、PIT、Futureを比較する。上位100件の資産再現率、PITとFutureの差、選ばれた履歴の時刻違反率を測る。PITで未来の履歴が選ばれていないことも各質問で確認する。
限界と課題
著者らによると、主要評価に使ったDPDiscには実際の検索利用ログがなく、質問の到着順を構成している。また、測定対象は指定した履歴方式と質問列における未来の履歴への直接アクセスであり、その後の利用者行動が変わる長期的な影響は含まない。
編集上の検証事項は、実ログの観測時刻と検索結果の出典を追えるか、資産集合と索引の当時の版を再現できるかである。社内の質問分布や正解ラベルが異なる場合、論文の得点差をそのまま移すことはできない。
出典
元のタイトル・要旨を確認する（英語）
A Historical Corpus Is Not a Historical System: Auditing Hindsight Leakage in Stateful Data Discovery
Offline replay should estimate what a discovery system could retrieve at a historical point, yet freezing the corpus leaves interaction memory unconstrained. We formalize point-in-time (PIT) discovery through historical state $(D_t, θ_t, M_{< i})$ and introduce a paired replay that changes only memory availability. The protocol constructs PIT and full-stream Future views from behavior-only traces and audits selected entries with a Temporal Violation Rate. Across three table-text domains, two stream regimes, two retrievers, and five seeds (216,000 rows), Future inflated Asset Recall@100 by 2.62-5.24 points; all 12 paired intervals excluded zero. With behavior-only trace memory, PIT underperformed the no-memory Stateless condition; Future masked 32.7-48.4% of that harm. For a simulated positive-feedback cache, PIT added 4.65-18.96 points over Stateless while Future added another 4.11-9.58 points. On five timestamped FreshStack topics, Future exceeded PIT by 2.72 points [1.75, 3.71]. Historical evaluation must version and validate memory with the corpus.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01