アーカイブ / LLM
Wikipediaのエンティティを検索語彙に加える文書検索手法「DyVo」
DyVo
DyVoの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : DyVo augments BERT’s word piece vocabulary with an entity vocabulary to help disambiguate a query (or document). Word pieces are in blue and entities are in orange. Darker terms have a higher weight in the sparse representation.
概要
- DyVoは単語片とWikipediaのエンティティを組み合わせ、入力ごとに取得した候補だけを採点して文書を検索する。
- 表1の正則化1e-5ではRobust04とCODECのnDCG@10がLSR-wを上回った。一方、Core 2018の別条件ではR@1000がわずかに低下した。
- 社内文書への応用には、正解文書ラベルと名称の対応情報を用意し、候補漏れや検索時間を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DyVoの仕組み
- 01質問・文書
- 02実体候補の取得
- 03語と実体の重み付け
- 04文書の順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DyVoが扱うのは、質問に合う文書を最初に絞り込む検索である。学習型疎検索は、語ごとに重みを持つ表現を作り、語から文書を引ける転置索引で探す。重みがある語を少数に絞るため、大量の文書の検索に使える。
従来の語彙では、固有名が「BioNTech」のように複数の単語片へ分かれる。また「WHO」や「US」のような短い表記は、単語片だけでは指す対象が曖昧になり得る。固有名の解釈が検索結果を左右する場合に問題となる。
手法
質問と文書をそれぞれ数値の表現に変え、単語片とWikipediaのエンティティに重みを付ける。エンティティは人物・組織・概念など識別可能な対象、埋め込みはその対象を数値の並びで表したものだ。候補取得部で対象を絞り、DyVo headが候補の埋め込みと入力文の表現から重みを計算する。
例えば「USはWHOの加盟国か」という質問では、米国や世界保健機関が候補に選ばれれば、それぞれに重みを付けられる。文書も同様に表し、質問と文書で一致する単語片・エンティティの重みを使って関連度を計算する。文書の表現は転置索引に保存する。候補取得には名称の対応付けや、LLMによる関連対象の生成を検討している。
新規性
DyVoの新規性は、単語片の語彙に数百万件規模のWikipediaエンティティを加えつつ、質問や文書ごとに取得した候補だけに重みを付ける点にある。全件を毎回採点せず、既存のエンティティ埋め込みを利用する。
著者らは、文中の名称を結び付ける方法に加え、質問に明記されていない関連エンティティも挙げる少数例提示型の候補生成を提案した。ただし、候補に入らなかった対象には重みを付けられない。
従来手法との違い
主な比較対象のLSR-wは、質問に現れた単語片へ重みを付け、文書側では関連する単語片への拡張も行う学習型疎検索モデルである。DyVoはこの構成に、エンティティ候補の取得と重み付けを加える。両者は同じ学習設定で比較された。
表1にはBM25、BM25＋RM3、追加学習なしの密ベクトル検索も載る。ただし、それらは構成や学習条件が異なる比較対象であり、エンティティ追加だけの効果を見るにはLSR-wとの対比が適切である。
実験結果
著者らはTREC Robust04、TREC Core 2018、CODECの文書順位を評価した。指標は順位を考慮するnDCG@10・nDCG@20と、上位1000件で関連文書を拾う割合を示すR@1000である。モデルの追加学習には合成した質問を用い、表1ではRELによるエンティティ候補を使った。
表1の疎性正則化1e-5では、nDCG@10がRobust04でLSR-wの49.13からDyVoの51.19、CODECで52.61から53.40となった。著者らは一貫した改善を述べるが、表1のCore 2018、正則化1e-4のR@1000は60.44から60.43へわずかに低下している。候補生成法別の数値表は確認できた本文の範囲にはない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術文書から、製品名や組織名を含む質問に合う資料を探す。入力は質問と文書群、出力は関連度順の文書一覧とする。略称が複数の対象を指す場合に、候補の選択が検索結果へどう影響するかを見る。
実施には、検索対象文書、質問と正解文書のラベル、名称とエンティティを結ぶ識別情報、各対象の説明文が必要となる。社内固有名はWikipediaの語彙で扱えるとは限らないため、候補取得と埋め込みを社内語彙に合わせて調整する必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの文書群を選び、実際の質問、検索対象文書、質問ごとの正解文書ラベルを用意する。名称とエンティティの対応情報、その説明文も整える。社内固有名を含むなら、候補取得と埋め込みをどう用意するかを決め、対象語彙へ合わせる。
単語片のみのLSR-w相当を基準とし、同じ学習データと評価対象でDyVo型の表現を比べる。nDCG@10とR@1000に加え、候補漏れ、名称の誤対応、検索時間、索引規模を記録する。略称を含む質問を分けて集計し、狙った問題への効果を確認する。
限界と課題
著者らが明示する方法上の制約は、数百万件のエンティティを毎回すべて採点するのは現実的でないことと、文中の名称を結び付ける方法では明記されない重要な対象を見落とし得ることである。そのためDyVoは候補を先に絞る。
編集上の検証事項は、候補漏れや誤った名称対応が実文書でどれほど起きるか、候補生成を含む検索時間と索引規模が許容範囲かである。確認できた本文の範囲では、社内文書での性能や運用時の値は示されていない。
出典
元のタイトル・要旨を確認する（英語）
DyVo: Dynamic Vocabularies for Learned Sparse Retrieval with Entities
Learned Sparse Retrieval (LSR) models use vocabularies from pre-trained transformers, which often split entities into nonsensical fragments. Splitting entities can reduce retrieval accuracy and limits the model's ability to incorporate up-to-date world knowledge not included in the training data. In this work, we enhance the LSR vocabulary with Wikipedia concepts and entities, enabling the model to resolve ambiguities more effectively and stay current with evolving knowledge. Central to our approach is a Dynamic Vocabulary (DyVo) head, which leverages existing entity embeddings and an entity retrieval component that identifies entities relevant to a query or document. We use the DyVo head to generate entity weights, which are then merged with word piece weights to create joint representations for efficient indexing and retrieval using an inverted index. In experiments across three entity-rich document ranking datasets, the resulting DyVo model substantially outperforms state-of-the-art baselines.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01