アーカイブ / RAG / LLM
正解文書の指定なしで探すHyDE、仮の回答から実文書へつなぐ検索法
HyDE
概要
- 質問から仮の回答文書を作り、その表現に近い実文書を検索する。
- 著者らのTREC DL19評価では、nDCG@10がHyDE 61.3、Contriever 44.5だった。
- 仮文書には誤情報があり得るため、回答の根拠は返された原文で確認する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HyDEの仕組み
- 01利用者の質問
- 02仮の回答文書を生成
- 03文書を数値化
- 04近い実文書を返す
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文書検索を新しい業務領域で始めると、質問と正解文書を結んだ学習用の組がないことが多い。意味の近さを数値で比べる密な検索は有力だが、質問と文書を同じ尺度で比較するには、関連性を学ぶ材料が問題になる。
HyDEは、質問から仮の回答文書を作り、その文書に似た実在文書を探す方法である。正解文書の指定がない段階の検索に向けて提案された。
手法
入力は質問と検索対象の文書群である。指示に従う言語モデルに「質問に答える文章」を書かせるが、この文章は仮のもので、事実が誤っている可能性がある。次に、仮文書を埋め込みと呼ぶ数値の列に変換する。埋め込みは文章の意味の近さを計算するための表現で、実文書も同じ方法で数値化しておく。
仮文書の数値に近い実文書を選び、その文書を検索結果として返す。論文では複数の仮文書の数値を平均する形も示す。たとえば質問が「申請期限はいつか」なら、期限を説明しそうな仮文書を作ってから実文書を探す。仮文書中の期限を回答として確定せず、見つかった原文で確かめる使い方になる。
新規性
著者らの進展は、質問と正解文書の組がなくても、質問から「答えが書かれていそうな仮の文書」を生成して検索の橋渡しに使う点にある。仮文書をそのまま回答として使わず、その数値表現に近い実文書を返す。
言語モデルと文書の数値化器を、この手法のために追加学習しない構成を示した。質問と文書の関連度を直接学ぶ代わりに、生成と文書同士の類似性を組み合わせる。
従来手法との違い
主な基準は、質問をそのまま数値化して探す未教師あり検索器Contrieverである。HyDEは同じ文書用の数値空間を使い、質問の数値表現を作る部分に仮文書の生成を加える。そのため、同じ文書集合で何が変わったかを比較しやすい。語の一致を使うBM25も比較対象になっている。
一方、正解例で追加学習した検索器との比較は条件が異なる。HyDEが一部の指標で近い値を出しても、正解例を使う方式全般より優れるという結論にはならない。
実験結果
著者らはTREC DL19・DL20のウェブ検索、BEIRの六つの検索課題、Mr.Tydiのスワヒリ語・韓国語・日本語・ベンガル語を評価した。DL19では、上位10件の順位を考慮するnDCG@10がHyDEで61.3、Contrieverで44.5、BM25で50.6。DL20では57.9、42.1、48.0だった。
日本語のMr.Tydiで、正解が現れる順位を測るMRR@100はHyDEが30.7、mContrieverが19.5。論文ではInstructGPTとContriever系を使い、この手法用の追加学習はしていない。数値は著者らの検索集合と設定による。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問から、回答の根拠になりそうな原文書を探す検索画面を試す。入力は「出張後の精算期限は」のような質問、出力は規程本文の候補と該当箇所への参照である。裏側では仮の説明文を作って検索し、利用者には実在する規程だけを提示する。
利用者が原文で期限や例外を確認する流れにする。論文は社内規程の検索を評価していないため、これは研究結果を踏まえた適用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：規程の版を固定した小さな文書集合と、担当者が答えの根拠箇所を指定した質問を用意する。質問をそのまま数値化する検索を基準とし、同じ文書の数値表現を使うHyDEで上位候補だけを比べる。
上位10件に正しい根拠が入る割合、最初の正解までの順位、版違いを返す率を測る。曖昧な質問や文書に答えがない質問も入れ、仮文書の断定が検索結果を誤らせないかを点検する。
限界と課題
著者らは、生成文に事実誤りがあり得ると明記する。また、手法は質問の意味が一つに定まるという仮定を置き、曖昧な質問と検索結果の多様性は今後の研究課題としている。金融投稿や固有の項目を探す評価では、追加学習したContrieverがHyDEより良い結果だった。
編集上の確認点は、仮文書に混じる架空の固有名詞が検索を偏らせないか、規程の版違いを拾えるか、検索結果に根拠がないときに止まれるかである。返った文書の正しさは別途確認する。
出典
元のタイトル・要旨を確認する（英語）
Precise Zero-Shot Dense Retrieval without Relevance Labels
While dense retrieval has been shown effective and efficient across tasks and languages, it remains difficult to create effective fully zero-shot dense retrieval systems when no relevance label is available. In this paper, we recognize the difficulty of zero-shot learning and encoding relevance. Instead, we propose to pivot through Hypothetical Document Embeddings~(HyDE). Given a query, HyDE first zero-shot instructs an instruction-following language model (e.g. InstructGPT) to generate a hypothetical document. The document captures relevance patterns but is unreal and may contain false details. Then, an unsupervised contrastively learned encoder~(e.g. Contriever) encodes the document into an embedding vector. This vector identifies a neighborhood in the corpus embedding space, where similar real documents are retrieved based on vector similarity. This second step ground the generated document to the actual corpus, with the encoder's dense bottleneck filtering out the incorrect details. Our experiments show that HyDE significantly outperforms the state-of-the-art unsupervised dense retriever Contriever and shows strong performance comparable to fine-tuned retrievers, across various tasks (e.g. web search, QA, fact verification) and languages~(e.g. sw, ko, ja).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29