アーカイブ / RAG
ベクトル検索の取り逃しを意味で測る――Semantic RecallとTolerant Recall
Semantic Recall
Semantic Recallの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Semantic recall only considers the semantically relevant results in the ground truth that are theoretically retrievable via exact nearest neighbor search (in green).
概要
- Semantic Recallは、全件照合の上位候補に含まれる関連文書を近似検索が回収した割合を測る。
- 関連性を判定できない場合に向け、近い類似スコアの結果への置き換えを認めるTolerant Recallも提案された。
- MSMARCOの関連文書が20件未満の質問では、著者らは従来の再現率0.762、Semantic Recall 0.903と報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Semantic Recallの仕組み
- 01質問・文書のベクトル
- 02全件照合の上位候補
- 03候補の関連判定
- 04近似検索との照合
- 05関連文書の回収率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
近似最近傍検索は、文書と質問を数値の並びであるベクトルに変え、質問に近い文書を効率よく探す方法である。通常は全件照合で得た上位候補との一致率を測るが、内容が無関係な候補を逃しても失点する。
著者らは、上位候補に関連文書が少ない質問で、この失点が検索の実用上の損失を表しにくいと指摘する。評価値を上げるために検索設定を強めると、無関係な候補を回収する処理にも費用を使うことになる。
手法
質問と文書を「埋め込み」と呼ぶ数値ベクトルに変え、全件照合で質問に近い上位候補を確定する。人または大規模言語モデルが各候補の関連性を判定し、関連すると判定された候補のうち近似検索でも返った割合をSemantic Recallとする。例えば、質問に答える文書を回収すれば得点し、近いだけの無関係な文書を逃しても減点しない。
元の文書を参照できず関連性を判定できない場合は、Tolerant Recallを使う。全件照合の候補と近似検索の結果を一対一で対応づけ、同じ文書か、質問との類似スコアが設定した許容幅の条件を満たせば一致と数える。これはスコアを手掛かりにした代用指標で、意味上の正解を直接示すものではない。
新規性
Semantic Recallは、全件照合の上位候補に含まれる関連文書だけを分母にし、近似検索が回収した割合を測る。ベクトル上で近くても無関係な候補を逃した場合は減点しない。
著者らは、元の文書を参照できず関連性を判定できない場合に向け、類似スコアが近い結果への置き換えを認めるTolerant Recallも提案した。こちらは意味的な関連性を直接判定する指標ではない。
従来手法との違い
従来の再現率は、全件照合で得た上位候補を近似検索が何件返したかで決まる。候補が質問に無関係でも、返せなければ失点する。一方、関連文書を人手で選んだ正解集は、埋め込みモデルが上位に配置できなかった文書まで検索器に求める場合がある。
Semantic Recallは全件照合の上位候補の中で関連するものを評価対象にする。Tolerant Recallは関連性ラベルを使わず、同一の候補か、設定した許容幅の条件を満たす類似スコアの結果を一対一で対応づける。許容幅は設定が必要で、値によって評価結果も変わる。
実験結果
著者らはMSMARCOの883万文書と250質問を同じモデルでベクトル化し、全件照合の上位100件をGemini 2.5で関連判定した。質問の40％では関連文書が0～15件で、3質問には該当文書がなかった。別モデルとの判定一致率は、100質問の上位100件で91.1％だった。
8ビット量子化したScaNNの上位100件検索では、関連文書が20件未満の質問で従来の再現率が0.762、Semantic Recallが0.903と報告する。また、Semantic Recall 98.93％を維持する設定では、従来の再現率を目標に調整した設定より、読み出しバイト数で測る検索費用が14％少なかった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の経費精算規程を探す検索器で、質問に答える箇所を取り逃していないか調べる。入力は規程の本文と社員の質問、出力は検索候補と、質問ごとのSemantic Recallを含む評価表とする。
必要な元データは規程本文と質問で、全件照合の上位候補には「質問に答えるか」のラベルを付ける。本文と質問を同じ埋め込みモデルで変換し、社内用語に合わせて判定基準を調整する。この文書検索案に追加センサーは想定しない。効果は導入先で検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内文書と実際の質問を少数集め、現在の検索設定を比較基準にする。必要な元データは文書本文と質問で、両者を同じモデルでベクトル化する。全件照合の上位候補に「質問に答えるか」のラベルを付け、社内用語に合わせて判定基準を調整する。追加センサーは想定しない。
同じ質問群で設定ごとの従来の再現率、Semantic Recall、読み出しバイト数を比べる。ラベルを付けられない範囲ではTolerant Recallも計算し、許容幅ごとの値を記録する。関連文書がない質問は別に集計し、関連文書の取り逃しと検索費用を両方確認する。
限界と課題
著者らは、Semantic Recallの判定には文書などの元データが必要で、専門分野では人による確認も要り得ると述べる。関連性の二値判定は曖昧さを残し、判定誤りも避けられない。全件照合の上位候補に関連文書がない質問では、この指標を定義できない。
編集上の検証事項は、社内の質問で判定者間の一致を測り、関連文書がない質問を別に集計することだ。Tolerant Recallについては、選んだ許容幅で関連文書の取り逃しをどの程度反映できるか確かめたい。スコアが近いことだけでは、文書が質問に答えるとは限らない。
出典
元のタイトル・要旨を確認する（英語）
Semantic Recall for Vector Search
We introduce Semantic Recall, a novel metric to assess the quality of approximate nearest neighbor search algorithms by considering only semantically relevant objects that are theoretically retrievable via exact nearest neighbor search. Unlike traditional recall, semantic recall does not penalize algorithms for failing to retrieve objects that are semantically irrelevant to the query, even if those objects are among their nearest neighbors. We demonstrate that semantic recall is particularly useful for assessing retrieval quality on queries that have few relevant results among their nearest neighbors-a scenario we uncover to be common within embedding datasets. Additionally, we introduce Tolerant Recall, a proxy metric that approximates semantic recall when semantically relevant objects cannot be identified. We empirically show that our metrics are more effective indicators of retrieval quality, and that optimizing search algorithms for these metrics can lead to improved cost-quality tradeoffs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01