アーカイブ / LLM / RAG
検索指示が詳しいほど順位補正が効かなくなる理由と、差し引く量の調整法
Interpolated Null Calibration
Interpolated Null Calibrationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Comparison of reranking performance under the bare null ( λ = 0 \lambda{=}0 , x x -axis) versus the instruction-inclusive null ( λ = 1 \lambda{=}1 , y y -axis) for every (model, task). Marker shapes denote the model, and colors indicate the optimal interpolation parameter λ ∗ \lambda^{*} . Panel (a) evaluates all attention heads, while panel (b) isolates the top-8 query-relevance heads. Regions above the diagonal represent tasks benefiting from standard calibration, while regions below indicate tasks where instructions provide relevance signal, which subtraction destroys.
概要
- 検索文を「N/A」に替える標準補正は、長い個別指示が生む関連度の信号まで差し引く場合がある。
- 提案法は３通りの注意スコアを使い、指示文を含む補正値と含まない補正値の混合比を調整する。
- Gemma-3-4BのICRでは、InstructIRのnDCG@10が標準補正0.275、指示文を外した補正0.825だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Interpolated Null Calibrationの仕組み
- 01検索文・指示文・候補文書
- 02３通りで注意を採点
- 03補正値を混合
- 04文書を再順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Interpolated Null Calibrationは、言語モデルによる文書の再順位付けで、順位スコアから何を差し引くかを調整する方法だ。再順位付けとは、既存検索が集めた候補を検索条件に合わせて並べ直す処理を指す。
従来法は検索文を空の内容に替えた結果を引き、文書の配置などによる偏りを減らす。ところが指示文に利用者の役割や詳しい条件を書くと、差し引く側にも文書の有用性を見分ける手がかりが入り、順位を悪化させる場合がある。
手法
候補文書の後ろに指示文と検索文を置き、言語モデルの「注意」から各文書のスコアを作る。注意とは、入力中の語が別の語を参照する強さである。指示文を検索文の近くに置くのは、採点に使う注意の範囲へ指示を含めるためだ。
採点は、①検索文と指示文を入れる、②検索文を「N/A」に替えて指示文を残す、③検索文を「N/A」に替えて指示文も外す、という３通りで行う。②と③のスコアを混ぜて①から引く。例えば「研究担当者向け」という条件が②にも生む差を、どれだけ差し引くか調整できる。混合比が１なら標準補正、０なら③だけを使う補正であり、０でも補正自体は行う。
新規性
著者らは、検索文を「N/A」に替える補正処理にも、個別の指示文が文書の関連度を示す信号を残し得ると分析した。従来の補正は、その信号も差し引いてしまう。
提案法は、指示文を残す場合と外す場合の補正用スコアを混ぜ、差し引く量を調整する。再学習やモデル構造の変更は要らず、採点時に処理が１回増える。
従来手法との違い
標準的なICRは、検索文を入れたときの注意スコアから、検索文だけを「N/A」に替えたスコアを引く。注意スコアは、モデルが各文書の語をどれだけ参照したかを集めた値で、補正は文書の配置などによる偏りを抑える。
提案法は、指示文も外した補正用スコアを追加し、従来の補正用スコアとの混合比を変える。共通の短い指示を使うExcluIRでは標準補正が有効だった一方、長い個別指示を使うInstructIRでは指示文を外した補正が有効だった。
実験結果
著者らはGemma-3-4B、Qwen3-4B、Llama-3.1-8Bを使い、BEIR、ExcluIR、NevIR、InstructIR、FollowIRで評価した。順位品質の指標はnDCG@10で、関連する文書が上位にあるほど高い。補正なし、標準補正、指示文を外した補正、開発用データで混合比を選ぶ方法などを比べた。
Gemma-3-4BのICRでは、InstructIRのnDCG@10が補正なし0.578、標準補正0.275、指示文を外した補正0.825だった。同じモデルでもExcluIRは標準補正0.816、指示文を外した補正0.784だった。著者らの結果は、指示文の種類によって適切な補正量が変わることを示す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書の検索結果を、担当者が書いた個別の依頼条件に沿って並べ直す。入力は検索文、依頼条件、既存検索が返した候補文書で、出力は順位付きの文書一覧とする。
試行には対象の社内文書と実際の依頼文、依頼ごとに役立つ文書を示す正解ラベルが必要だ。既存検索の後段で３種類の注意スコアを計算し、開発用の依頼で決めた混合比を使う。追加のセンサーやモデル学習用データは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内の検索文、個別の依頼条件、候補文書を集め、依頼ごとに文書の有用性を判定した正解ラベルを用意する。モデルの再学習用データや新しいセンサーは不要だが、対象の指示文を採点時の入力形式に合わせる必要がある。
同じ候補集合とモデルで、補正なし、標準補正、提案法を比較する。開発用の依頼とラベルで混合比を選び、別の依頼でnDCG@10、候補の順序を入れ替えたときの順位変化、処理時間を測る。効果は社内の文書と依頼条件について判断する。
限界と課題
著者らは、標準補正後も文書の並び順による影響が残ると報告している。提案法では採点時の処理が１回増え、開発用の正解ラベルがある設定では、それを使って混合比を選んでいる。
編集上の検証事項は、対象の依頼文でも補正用スコアに関連度の信号が残るか、追加処理の時間を許容できるかである。社内文書での有効性は確認できた本文の範囲では示されておらず、論文中の順位改善をそのまま見込むことはできない。
出典
元のタイトル・要旨を確認する（英語）
How Calibration Content Shapes Attention-Based Reranking
Attention-based rerankers score documents by aggregating query-to-document attention and subtracting a null-query calibration pass to remove positional and structural bias. Although widely used, this calibration assumes that the null pass removes irrelevant signal from each document. We show that modern prompt content, e.g. constraints, instructions, personas, and demonstrations can violate this assumption when it enters the scoring readout, making the null pass relevance-aware rather than null. We find that calibration is especially harmful when applied to prompts containing longer, more detailed instructions as the null-pass step removes relevant signal. Based on these findings, we propose interpolated null calibration, a training-free modification that controls how much of the instruction content enters the null baseline. It recovers attention-based reranking performance on instruction-heavy tasks where standard calibration fails, while preserving calibration's benefits when the null pass remains relevance-agnostic. On instruction heavy tasks, the recovered rankings surpass generative rerankers. We also show that in-context demonstrations improve attention-based reranking with little calibration interference, since demonstrations act only through the query pass and leave the null pass unchanged.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01