アーカイブ / RAG
DPR：質問と文章を別々に数値化して答えの候補を探す
Dense Passage Retrieval
概要
- 質問と文章を別々の符号化器で数値化し、近い文章片を検索する。
- Natural Questionsの上位20件の正解包含率は78.4％で、BM25の59.1％を上回った。
- 固有名詞など重要な語句を逃す例と、SQuADではBM25を下回る結果も報告された。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dense Passage Retrievalの仕組み
- 01質問と文章群
- 02別々に数値化
- 03ベクトルの近さで検索
- 04上位の文章片
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
広い文書集合から質問に答えるには、まず答えを含む文章片を少数選ぶ必要がある。従来のBM25などは共通する語を使って探すため、質問と文章で言い方が異なる場合に候補を逃すことがある。
DPRは、質問と文章を意味に関する数値列へ変換して近さを比べる。後段で人や回答モデルが読む文章を選ぶ検索部分を改善する研究であり、検索できなかった答えは後段でも扱いにくい。
手法
DPRは質問用と文章用の二つのBERTを使う。BERTは周囲の語を踏まえて文章を数値に変えるモデルで、各入力をベクトルという数値列にまとめる。文章側はあらかじめ約100語単位の文章片ごとに数値化して索引に保存し、質問が来たら質問ベクトルとの内積、つまり対応する数値の積の合計が大きい文章片を返す。出力は回答そのものではなく、答えの候補となる文章片である。
学習では、正解を含む文章片の点数を高くし、不正解の文章片の点数を低くする。同じ学習単位にある別の質問の正解文章を不正解例として利用し、BM25が上位に出した紛らわしい文章も加える。例えば「悪役」を尋ねる質問と「敵役」と書かれた文章の関係を、語の一致だけに頼らず学習する狙いがある。
新規性
著者らは、質問用と文章用の二つの符号化器を、比較的少数の質問と正解文章の組から学習すれば、密なベクトルだけでも大規模な文章検索が実用的に行えると示した。学習では同じ小分けの学習データ内にある他の正解文章を不正解例として再利用し、BM25で見つけた紛らわしい不正解例も加える。
従来手法との違い
BM25は質問と文章で共通する語を主な手掛かりにする。DPRは質問と文章をそれぞれ数値化し、表現が異なっても近い意味なら候補にできる。著者らはNatural QuestionsなどでDPRの上位候補に正解が含まれる割合がBM25より高いと報告した。一方、固有名詞のような重要な語をDPRが捉え損ね、BM25が正しく探した例も示している。
実験結果
著者らは2018年12月の英語版Wikipediaを約2,101万の文章片に分け、五つの質問応答データで評価した。上位20件に答えを含む文章片がある割合は、Natural QuestionsでDPRが78.4％、BM25が59.1％、WebQuestionsでは73.2％対55.0％だった。
ただしSQuADではDPRが63.2％、BM25が68.8％で、著者らは質問と元の文章の語の重なりなどを理由に挙げる。回答まで行う系の完全一致率はNatural QuestionsでDPRが41.5％、BM25が32.6％だった。検索精度と最終回答精度は別の指標として読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。設備保守の問い合わせ文から、過去の故障報告の該当段落を探す。入力は「起動直後に表示が消える」などの質問、出力は関連度順の報告段落と元文書への参照とし、担当者が内容を確認して対処を判断する。
用語が揺れる記録を探せるかを重点に置く。同時に型番や部品名の完全一致が重要な問い合わせも含め、DPRだけで足りるか、既存の語の一致による検索と組み合わせるべきかを測る。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。社内の質問と答えを含む文章片を対にした小規模データを作り、現行のBM25検索とDPRを同じ文書集合で比較する。上位20件に正解段落が含まれる割合を主指標にし、最初の正解段落の順位も記録する。
言い換えを含む質問、固有名詞や型番が鍵になる質問を分けて調べる。文書の追加後に索引を作り直す時間と、質問一件の検索時間も測る。必要なら二つの検索結果を組み合わせる方式を追加の比較対象にする。
限界と課題
著者らは、DPRが意味の近さに強い一方、まれで重要な語句を捉え損ねる場合があると述べる。SQuADではBM25より低い結果も示した。文章ベクトルの作成と索引構築には、検索時とは別の処理時間がかかる。
編集上の確認課題は、固有名詞や型番の取りこぼし、文書更新時の再索引、検索結果が実際に回答を含むかである。検索器が関連文を見つけても、後段の回答作成まで正しくなるとは限らない。
出典
元のタイトル・要旨を確認する（英語）
Dense Passage Retrieval for Open-Domain Question Answering
Open-domain question answering relies on efficient passage retrieval to select candidate contexts, where traditional sparse vector space models, such as TF-IDF or BM25, are the de facto method. In this work, we show that retrieval can be practically implemented using dense representations alone, where embeddings are learned from a small number of questions and passages by a simple dual-encoder framework. When evaluated on a wide range of open-domain QA datasets, our dense retriever outperforms a strong Lucene-BM25 system largely by 9%-19% absolute in terms of top-20 passage retrieval accuracy, and helps our end-to-end QA system establish new state-of-the-art on multiple open-domain QA benchmarks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29