アーカイブ / RAG / LLM
質問ごとに参照文書の件数を決めるScoreGate：検索と再評価の点数を組み合わせる方法
ScoreGate
ScoreGateの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The ScoreGate pipeline. A user query triggers bi-encoder vector retrieval of top- N N candidates, followed by cross-encoder reranking to obtain score pairs ( s i , r i ) (s_{i},r_{i}) . Data-driven thresholds ( τ s = 0.70 \tau_{s}\!=\!0.70 , τ r = 0.08 \tau_{r}\!=\!0.08 ) partition each chunk into one of four buckets (B1–B4). B1 and B3 are retained unconditionally; B4 is discarded unconditionally; B2 candidates are retained only if the fusion score f i ≥ 0.255 f_{i}\geq 0.255 . The filtered set C ′ C^{\prime} is bounded above by MAX- K K and passed to the generator.
概要
- 検索器の類似度と再評価器の点数から、回答モデルへ渡す文書片を質問ごとに選ぶ。
- 著者らはMS MARCOの開発用質問200件でMRR@10が0.401、保持文書片が固定件数方式より35％少ないと報告した。
- 内部評価は調整時と知識ベースを共有する。最大10件の制限で関連文書片が計8件落ちたと著者らは報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ScoreGateの仕組み
- 01質問と文書片
- 02類似度で候補検索
- 03再評価点を算出
- 04二点数で採否決定
- 05回答用文書片
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ScoreGateは、検索拡張生成（RAG）で回答に添える文書片の件数を質問ごとに変える。RAGは、外部文書を検索し、その内容を回答モデルの入力に加える方法である。
固定の上位件数では、短い事実確認にも複数資料を照合する質問にも同じ数を渡す。不要な文書片は入力を増やし、必要な文書片が欠ければ回答の根拠が不足する。著者らは、検索済み候補の点数から採否を決める。
手法
まず、質問と文書片を別々に数値化する検索器が候補を集め、類似度を出す。次に、質問と候補を一緒に読んで関連性を採点する再評価器の点数を、質問ごとの候補内で正規化する。ScoreGateは二つの点数の高低で候補を四領域に分け、両方高ければ残し、両方低ければ捨てる。
点数が食い違う領域では、類似度に0.3、再評価点に0.7を掛けて足した合成点を使い、領域ごとに異なる基準で採否を決める。例えば質問と異なる語で書かれた関連文書片は、類似度が低くても再評価点が高ければ残り得る。採用後は合成点の高い順に最大10件とし、回答モデルへ渡す。
新規性
ScoreGateは、検索器の類似度と再評価器の点数を使い、回答モデルへ渡す文書片の採否と件数を質問ごとに決める。著者らは、既存の二段階検索に追加のモデル推論や再学習を求めない方式として提案している。
特徴は、二つの点数が食い違う場合に異なる採用基準を設けたことだ。特に、質問と語が違うため検索時の類似度が低くても、再評価器が高く採点した文書片を残しやすくする。
従来手法との違い
Standard Top-Kは、再評価後の上位10件を質問にかかわらず回答モデルへ渡す。ScoreGateは各候補を点数で選別するため、渡す件数が変わる。ただし、候補検索や再評価そのものを置き換える方法ではない。
著者らは、再評価点だけで選ぶ方式や、言語モデルが文書片ごとに採否を判断するLLM Filterとも比較した。後者には追加のモデル呼び出しが必要になる。内部評価の差は、その文書群と調整済みの基準を使った条件で読む必要がある。
実験結果
著者らは、MS MARCOの開発用質問から無作為に選んだ200件で、検索順位の指標MRR@10を0.401、保持文書片を固定の上位10件方式より35％少ないと報告した。この記述だけでは固定件数方式とのMRR@10の差は示せない。
内部評価では、正解ラベル付きの質問・文書片300組について不要文書片の誤採用は観測されなかったと報告した。平均入力は質問当たり637から415トークンへ34.8％減り、平均処理時間は固定件数方式の405ミリ秒に対し436ミリ秒だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問応答で、社員の質問と段落単位の現行規程を入力し、選ばれた段落を回答モデルへ渡す。出力は回答と参照段落にする。例えば複数の規程を照合する質問で、必要な段落が上限件数内に残るかを確認する。
必要な元データは規程本文と実際の質問で、調整と検証には質問ごとの関連段落ラベルも用意する。ScoreGate自体の追加学習データやセンサーは不要とされるが、現場の点数分布に合わせた閾値の調整は必要になる。効果は検証対象であり、導入前に確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象文書を段落などの文書片に分け、実際の質問と、各質問に必要な文書片の正解ラベルを用意する。既存の検索器と再評価器から二つの点数を記録し、別に確保したラベル付き質問で採用基準を調整する。方式自体に追加の学習データやセンサーは要らない。
同じ質問群で上位10件を渡す方式と比べ、必要文書片の再現率、不要文書片の採用数、入力トークン数、処理時間を測る。言い換え質問と複数文書を要する質問を含め、最大件数による取りこぼしも数える。
限界と課題
著者らは、内部の関連性評価では閾値調整時と知識ベースを共有し、質問だけを別の期間から採ったと記す。この結果を独立した領域への一般化の証拠とは扱えない。また、最大10件の制限により、関連する文書片が計8件落ちたと報告している。
編集上の検証事項：図の説明では低類似度・高再評価点の領域を無条件で残すとする一方、表と手順では合成点の基準を課しており、実装時に確認が要る。再評価点だけを使う方式の再現率も表によって異なるため、その数値による優劣判断は保留する。
出典
元のタイトル・要旨を確認する（英語）
ScoreGate: Adaptive Chunk Selection for Retrieval-Augmented Generation via Dual-Score Statistical Fusion
Fixed-cardinality retrieval injects a constant top-K chunks into the generator regardless of query complexity, causing over-retrieval for narrow queries and under-retrieval for compositional ones. We describe ScoreGate, a lightweight score-space decision mechanism that controls retrieval cardinality at inference time using two scores already produced by the standard pipeline: bi-encoder similarity s_i and cross-encoder reranker score r_i, with no additional model inference calls required. Its core insight is that cross-encoder affirmation can rescue semantically relevant chunks that bi-encoder retrieval ranks poorly due to vocabulary mismatch -- a failure mode unaddressed by fixed-K or single-score thresholding. On MS MARCO (200 dev queries), ScoreGate achieves MRR@10 = 0.401 with 35% fewer retained chunks than Standard Top-K. On an internal benchmark (n=300, Fleiss' kappa=0.87), ScoreGate observed zero false positives (95% CI [96.4%, 100%]) at 97.77-99.34% recall, with 34.8% fewer tokens per query and only 31ms added latency. Results on both MS MARCO and real-world production traffic suggest that adaptive retrieval cardinality can improve retrieval efficiency without degrading retrieval quality.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01