アーカイブ / LLM
比較結果の確かさを更新しながら上位文書を選ぶREALM
REALM
REALMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Workflow of our recursive relevance modeling framework for LLM-based document re-ranking.
概要
- REALMは文書ごとの関連度を推定値と不確実さで表し、小集団の比較結果を使って更新する。
- TREC Deep Learning 2020でFlan-T5-XLを使った表では、NDCG@10はREALMが68.4、Setwise-Insertionが67.0だった。
- 社内検索への適用には、関連性ラベルを付けた質問で順位の質、問い合わせ回数、応答時間を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、REALMの仕組み
- 01質問と候補文書
- 02基準文書を選択
- 03小集団で比較
- 04関連度を更新
- 05上位文書を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
REALMが扱うのは、最初の検索で集めた文書を質問との関連度に沿って並び替える作業である。初期検索の候補には、質問と単語は合っていても、求める内容から外れた文書が含まれうる。
大規模言語モデルを使う並び替えにも、判定の不確実さ、上位候補の選択の揺れ、比較に使う入力文字量という課題がある。文献検索などでは、表示できる件数が限られるため、必要な資料を上位に置けるかが重要になる。
手法
各文書の関連度を、推定値と不確実さを表す正規分布で管理する。正規分布は、中心の値と広がりで推定の状態を表す形である。初期の推定値には検索スコアを使え、なければ共通値を置く。不確実さが最も小さい文書を基準に選び、ほかの候補を小集団に分けて比較する。
例えば、質問と複数の文章を示して最も関連するものをモデルに選ばせる。各選択肢の出力値の差から基準文書に勝る確率を求め、ベイズ更新、つまり以前の推定に新しい比較結果を加える計算で分布を改める。基準文書の比較結果を統合し、候補を絞りながら処理を繰り返して上位文書を出す。
新規性
REALMは、各文書の関連度を推定値と不確実さを持つ分布で表し、小集団の比較結果で更新する。モデルが各選択肢に与える出力値の差を、基準文書との優劣の確率に変換して使う。
さらに、推定の不確実さが最も小さい文書を比較の基準に選び、複数の小集団で得た結果を統合する。候補を残す境界も調整し、上位文書を選ぶ反復処理の負担を抑える設計である。
従来手法との違い
著者らは、文書群を順位づけるTourRank、二文書ずつ比較するPRP-Graph、小集団を比較するSetwise-HeapsortとSetwise-Insertionを比較対象にした。REALMも小集団を使うが、選ばれた文書だけでなく、選択肢ごとの出力値の差を更新に利用する。
表に示されたFlan-T5の3種類のモデルとTREC Deep Learning 2019・2020の条件では、REALMのNDCG@10が各比較手法を上回り、モデルへの問い合わせ回数も少ない。差の大きさはモデルと比較相手によって異なる。
実験結果
著者らはTREC Deep Learning 2019・2020で、BM25が取得した上位100文書から上位10件を選ぶ設定を評価した。NDCG@10は関連文書が上位にあるほど高い順位の指標で、表の値は百分率表示である。
Flan-T5-XLを使った2020年の表では、REALMのNDCG@10は68.4、Setwise-Insertionは67.0だった。モデルへの問い合わせ回数は順に75.6回と105.3回、入力トークン数は24033.6と34400.7、遅延は3.7秒と5.1秒と著者らは報告する。これらは当該モデルと候補集合での比較値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内の技術文書検索で、社員の質問に対する上位10件の並び替えに使う。入力は質問、既存検索が返した候補文書と検索スコア、出力は並び替えた文書一覧とする。
元データとして社内文書と実際の検索質問を用意し、評価用には質問ごとの関連性ラベルを人手で付ける。センサー入力は不要で、追加学習は行わない設定から始める。文書の長さや専門用語に合わせて比較時の指示文を調整する必要があるかを確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。社内文書と検索質問を小規模に集め、質問ごとに関連文書のラベルを人手で付ける。入力には文書本文、質問、既存検索の候補とスコアを用い、センサー入力は使わない。追加学習は行わず、文書の区切り方と比較時の指示文を業務用語に合わせて調整する。
同じ候補集合で既存検索の順位とREALMの順位を比べる。上位10件のNDCG@10に加え、モデルへの問い合わせ回数、入力トークン数、応答時間を記録する。順位が大きく変わった質問では、関連性ラベルと初期検索の候補を確認する。
限界と課題
著者らは、比較情報の統合方法と比較順序には改良の余地があると述べる。表の主な評価は、BM25が取得した上位100文書から上位10件を選ぶ条件であり、別の候補集合にも同じ差が出るとは示していない。
編集上の検証事項として、社内文書でもモデルの選択肢ごとの出力値を取得して比較に使えるかを確認したい。初期検索が関連文書を取りこぼした場合の影響、文書更新後の順位の安定性、質問の種類ごとの精度と応答時間も導入先で測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
REALM: Recursive Relevance Modeling for LLM-based Document Re-Ranking
Large Language Models (LLMs) have shown strong capabilities in document re-ranking, a key component in modern Information Retrieval (IR) systems. However, existing LLM-based approaches face notable limitations, including ranking uncertainty, unstable top-k recovery, and high token cost due to token-intensive prompting. To effectively address these limitations, we propose REALM, an uncertainty-aware re-ranking framework that models LLM-derived relevance as Gaussian distributions and refines them through recursive Bayesian updates. By explicitly capturing uncertainty and minimizing redundant queries, REALM achieves better rankings more efficiently. Experimental results demonstrate that our REALM surpasses state-of-the-art re-rankers while significantly reducing token usage and latency, improving NDCG@10 by 0.7-11.9 and simultaneously reducing the number of LLM inferences by 23.4-84.4%, promoting it as the next-generation re-ranker for modern IR systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01