アーカイブ / LLM / RAG
注意重みで検索文書を並べ替えるHeadRank：候補列の中ほどにある文書をどう見分けるか
HeadRank
HeadRankの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of reranking paradigms.
概要
- HeadRankは質問から候補文書への注意重みを採点に使い、順位の文章を生成せずに文書を並べ替える。
- 関連度が隣り合う文書の組で学習し、候補列の中ほどでスコアが似通う問題に取り組む。
- 著者らのBM25上位40件を使う11課題では、Qwen3-4Bの平均NDCG@10は46.73で、RankGPTの44.89を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HeadRankの仕組み
- 01質問と候補文書
- 02文書を先に配置
- 03選択ヘッドで採点
- 04スコア順に出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HeadRankは、質問に対して検索済みの文書を関連度順に並べ替える手法だ。大規模言語モデルに順位を文章で生成させる方式では、候補が増えるほど生成に時間がかかり、順位の出力形式が崩れる場合もある。
生成を省いてモデル内部の「注意重み」を採点に使う方法にも課題がある。注意重みは、質問の語が文書の語をどれほど参照するかを表す値だ。著者らは、候補列の中ほどで文書ごとの値が似通い、順位を付けにくくなると指摘する。
手法
入力では検索候補を質問より前に並べ、質問の語から各文書の語へ向かう注意重みを集計する。「ヘッド」は注意重みを計算するモデル内部の単位だ。HeadRankは関連文書を見分けやすく、注意の散らばりが小さいヘッドを選ぶ。推論時はそのヘッドで文書を採点し、最も深い選択層で計算を止める。
学習には、例えば関連度3と2のように評価が隣り合う文書の組を使う。好ましい文書のスコアを高めながら、元のモデルからのずれと候補全体のスコア分布を調整する。学習後にはヘッドを選び直す。最終的な出力は、順位を表す文章ではなく、スコア順の文書リストである。
新規性
HeadRankは、生成する単語の確率に適用されてきた好みの学習を、注意重みから得る連続的な文書スコアに移す。関連度の評価が隣り合う文書だけを学習用の組に使い、細かな順位差を学ばせる。
ヘッドの選択では注意の散らばりも考慮する。さらに、候補列の中ほどにある文書のスコアが似通う問題に向け、スコア分布を調整する項を学習に加えている。
従来手法との違い
RankGPTは文書IDの順位を文章として生成する。ICRは注意重みを広く集計し、CoReは対照的なスコアを使って採点用のヘッドを選ぶ。HeadRankは、選んだヘッドの注意重みから作る文書スコア自体を、関連度の好みに合わせて学習する。
著者らのBM25上位40件による11課題の表では、Qwen3の3規模すべてでHeadRankの平均NDCG@10が比較手法を上回る。この順位は掲載された課題と設定についての結果である。
実験結果
著者らはMS MARCO V2の211質問から、BM25上位100件を用いて訓練用の組を作り、Qwen3の0.6B、1.7B、4Bで計14課題を評価した。BM25上位40件を使う11課題の平均NDCG@10は、4BでHeadRankが46.73、RankGPTが44.89だった。NDCG@10は上位10件の関連度と順位を評価する指標だ。
複数文書をたどる3課題ではColBERTv2上位20件を使い、4Bの平均Recall@2が59.64、Recall@5が71.77と報告した。Recall@2とRecall@5は、それぞれ上位2件、5件で正解文書を見つけた割合を表す。掲載表でHeadRankの出力形式の成功率は100%だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の規程検索で、社員の質問に対する候補文書を並べ替える。入力は質問と既存の検索器が返す規程の抜粋、出力は参照候補の順位とする。担当者が上位文書の原文を確認して回答に使う運用を想定する。
必要なのは、社内文書と、質問ごとに候補文書の関連度を段階で付けた訓練データだ。既存検索器で候補を集め、隣り合う関連度の文書を組にし、対象領域のデータでヘッド選択と学習を行う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の質問、検索候補の原文、候補ごとに段階的な関連度ラベルを集める。追加のセンサーは想定しない。既存検索器の順位を基準にし、隣り合う関連度の組を作ってヘッド選択と学習を行う。評価用の質問は訓練用と分ける。
同じ候補集合で、既存の順位とHeadRank後の順位を比較する。上位10件のNDCG@10、必要文書が上位に入る割合、応答時間、出力形式の失敗を記録する。文書の種類や候補数ごとにも測り、中ほどにあった関連文書の順位変化を確認する。
限界と課題
著者らが報告するのは、従来の注意重みを使う方法では、候補列の中ほどにある文書のスコアが似通うという課題だ。HeadRankの結果から、あらゆる文書領域や候補数でこの課題が解消するとまでは言えない。
編集上の検証事項は、社内文書の長さや候補数による精度の変化、応答時間、関連度ラベルを作る負担である。確認できた本文の範囲では、実測時間の詳細や付録に記された設定値までは照合できない。
出典
元のタイトル・要旨を確認する（英語）
HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads
Decoding-free reranking methods that read relevance signals directly from LLM attention weights offer significant latency advantages over autoregressive approaches, yet suffer from attention score homogenization: middle-context documents receive near-identical scores, destroying the fine-grained distinctions required for ranking. We propose HeadRank, a framework that lifts preference optimization from discrete token space into the continuous attention domain through entropy-regularized head selection, hard adjacent-level preference pairs, and a distribution regularizer that jointly sharpen discriminability in the homogenized middle zone. Depth truncation at the deepest selected layer further reduces inference to $\mathcal{O}(1)$ forward passes. Across 14 benchmarks on three Qwen3 scales (0.6B--4B) using only 211 training queries, HeadRank achieves the highest average NDCG@10 at every scale, outperforming both generative and decoding-free baselines on the majority of benchmarks with 100\% formatting success. At 4B, 57.4\% of relevant middle-zone documents reach the top quartile versus 14.2\% for irrelevant ones -- a 43-percentage-point selectivity gap that demonstrates the effectiveness of attention-space preference alignment for listwise reranking.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01