アーカイブ / RAG
密な検索モデルの内部特徴を取り出し、BM25で文書を探す「Latent Terms」
Latent Terms
概要
- 固定した密な検索モデルの単語別表現からSAEで疎な特徴を取り出し、BM25で検索する。
- 著者らのBEIR 15データセットのnDCG@10平均は、Contrieverで0.415から0.474、Nomicで0.521から0.526となる一方、GTE-MCでは0.547から0.500になった。
- 社内検索への適用には、質問と正解文書のラベルを用意し、元モデルや通常のBM25と同条件で比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Latent Termsの仕組み
- 01質問・文書
- 02単語別内部表現
- 03SAEで疎化
- 04合算・平方根
- 05BM25の検索順位
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
密な検索モデルは、文章を数値列に変えて関連文書を探す。質問と文書を一つの数値列ずつにまとめる方式では、モデル内部にある単語ごとの情報が、通常の採点に十分表れない場合がある。
BM25は、質問と文書に共通する語の頻度や、文書集合の中での珍しさを使う検索法である。本研究は、密なモデルの内部情報をBM25で扱える特徴に変え、既存モデルから別の採点方法を得られるかを調べた。
手法
まず、重みを固定した検索モデルにラベルなしの文章を通し、単語ごとの最終層の内部表現を集める。疎な自己符号化器（SAE）は、その表現を少数の有効な特徴に変え、元の表現を復元するよう学習する。著者らはFineWeb-Eduの文章を使い、特徴の候補を32,768個、単語ごとの有効な特徴を16個に設定した。学習後、復元に使う部分は検索に使わない。
検索時には質問と各文書を同じモデルとSAEに通し、特徴の強さを単語間で合算して平方根に変換する。たとえば橋の補修記録を探す質問なら、質問と記録の双方で働いた特徴の番号を照合する。BM25は文書側の強さや特徴の珍しさなどに加え、質問側の強さも重みとして使い、順位を返す。
新規性
著者らの主張は、検索用に学習済みの密なモデルを固定したまま、単語ごとの内部表現からBM25で扱える特徴を取りり出せる点にある。SAEの学習には、検索結果の正解を示す教師データや、検索用の語彙拡張目標を使わない。
得られた特徴の文書集合内での出現頻度は、少数が頻出し多数がまれに現れるジップ則におおむね沿うと報告する。この分布により、BM25が使う特徴の珍しさを計算できる。
従来手法との違い
単一ベクトル型のContrieverとNomicは、通常、質問と文書をそれぞれ一つの数値列にまとめ、コサイン類似度で採点する。Latent Termsは同じモデルの単語ごとの内部表現を使い、特徴の一致と文書集合内での頻度に基づいて採点する。
学習型の疎な検索法SPLADEも比較対象である。SPLADEは検索用の語の重み付けと語彙拡張を学ぶが、Latent Termsの追加学習は内部表現の復元を目的とする。複数ベクトル型のGTE-MCでは、元モデルのMaxSim採点の方がBEIR平均で高かった。
実験結果
著者らは英語の検索評価群BEIRの15データセットで、上位10件の順位品質を示すnDCG@10を報告した。BM25系手法の設定をデータセットごとに調整した表では、平均値はContrieverが0.415、Latent Terms版が0.474、Nomicが0.521、同版が0.526、GTE-MCが0.547、同版が0.500だった。
単一ベクトル検索の弱点を調べるLIMITでは、正解が上位20件に入る割合を示すRecall@20が、Contrieverで0.0265、同版で0.5100、通常のBM25で0.9490だった。これらは記載されたモデルと評価課題での結果であり、社内文書で同じ差が出ることは示していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内の保守記録から、故障の記述に対応する過去の対応例を探す。入力は担当者の質問文と記録本文、出力は関連度順の記録と原文への参照とする。対象記録を特徴に変換して索引を作り、質問も同じ手順で変換して照合する。
SAEの学習には利用可能なラベルなし文章が必要で、導入先での評価には質問と正解記録の組を別に用意する。センサーは不要である。文書の抽出方法と社内用語への適合を確認する必要があり、この用途での効果は論文の評価からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象文書と実際の質問を集め、担当者が質問ごとに正解文書のラベルを付ける。元の密な検索モデルによる採点と通常のBM25を比較基準にし、同じ文書集合からLatent Termsの索引を作る。
SAEの学習には利用可能なラベルなし文章を使い、評価用の正解ラベルは学習に混ぜない。センサーは不要である。文書抽出、特徴への変換、索引更新まで試し、上位10件の順位品質、上位20件に正解が入る割合、検索時間と索引容量を同じ条件で測る。許容値は業務側で先に決める。
限界と課題
著者らの結果では、効果は元モデルと課題によって異なる。BEIR平均でGTE-MCのLatent Terms版は元のMaxSim採点を下回り、ArguAnaでも比較対象のSPLADEより低い値が表にある。一律に検索品質が上がるとはいえない。
編集上の検証事項は、日本語や社内文書でも有用な特徴を得られるか、索引容量、検索時間、文書更新時の処理量が許容できるかである。確認できた本文の範囲では、これらを導入先の条件で測った結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Latent Terms: Dense Retrievers Contain Trivially Extractable BM25-ready Zipfian Vocabularies
We propose Latent Terms, a method revealing that models trained for dense retrieval, whether single- or multi-vector, learn representations that can trivially be decomposed into retrieval-ready sparse features. When trained on frozen retrievers, Sparse Autoencoders without any retrieval-specific adjustments extract a latent vocabulary with approximately Zipfian collection statistics, directly suitable for classical sparse retrieval scoring via BM25. This approach enables sparse retrieval while requiring no learned expansion objective or sparse retrieval supervision whatsoever, and can be readily applied to any dense retriever. Latent Terms is able to match or outperform single-vector scoring methods from its own base model as well as comparable SPLADE variants. In addition, it substantially outperforms its base model on LIMIT, a task specifically designed to highlight the failures of single-vector retrieval. Overall, our results highlight that neural retrievers contain more expressive and indexable structure than their default scoring functions expose, but that other methods can nonetheless be leveraged.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01