アーカイブ / RAG / LLM
社内用語を含む文書検索を、キーワード検索の順位から学習する
BMEmbed
BMEmbedの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An illustration of tailoring an embedding model to a private domain.
概要
- BMEmbedはBM25の検索順位を教師信号にして文章埋め込みモデルを調整する。
- 著者らのQwen2-1.5B評価では、Multihop-RAGのHit@4が59.69％から68.34％へ上がった。
- 公開データでの結果なので、社内固有語を含む実際の質問でBM25やRRFと比べたい。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、BMEmbedの仕組み
- 01対象文書
- 02質問を生成
- 03BM25で順位付け
- 04埋め込みを調整
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
BMEmbedは、一般向けの文章検索モデルを特定の文書群に合わせる。文章埋め込みとは文の意味を数値の列に変え、近い内容を探す技術で、検索拡張生成（RAG）の根拠文書探しにも使われる。社内固有の略語や製品コードは、汎用モデルが学習時に知らなかった可能性がある。
一方、社内文書には「この質問の正解はこの段落」といった教師データが通常そろっていない。語の一致で探す既存の検索手法を、追加学習の手掛かりにできるかが焦点だ。
手法
まず大規模言語モデルで文書中の出来事と関係者などを抽出し、その内容を尋ねる質問を作る。次に文書を一定の長さに分け、BM25で各質問に合う文書片を並べる。BM25は、質問に含まれる語の出現頻度や珍しさ、文書の長さを考慮するキーワード検索法だ。
上位から下位までの順位をいくつかの区間に分け、各区間から文書片を選ぶ。その一覧を使い、埋め込みモデルが出す質問と文書片の近さの並びをBM25の点数の並びへ寄せる。「リスト単位の学習」は、一件ずつ正誤を決める代わりに候補全体の順位を使う方法である。
新規性
BMEmbedの新しさは、BM25による検索順位を単なる検索結果として使うだけでなく、汎用の文章埋め込みモデルを学習させる信号に変える点にある。順位の異なる区間から文書片を選び、上位と下位の関係をまとめて学習する。
著者らは、近い文章を近づける性質と、異なる文章を区別しやすく配置する性質も調べた。ただし、BM25の順位は正解ラベルそのものではなく、語の一致から作る間接的な手掛かりである。
従来手法との違い
比較対象は、学習前の埋め込みモデル、BM25単体、正例と負例を対比して学ぶ手法、BM25と埋め込み検索の順位を統合するRRFである。RRFは二つの検索結果を後から合わせるが、BMEmbedは埋め込みモデル自体を対象文書に合わせて調整する。
結果は一様な勝利ではない。例えばFinance-RAGのQwen2-1.5Bでは、BMEmbedのHit@1は26.31％で、BM25の28.51％やRRFの31.73％を下回った。用途ごとに比較が要る。
実験結果
著者らはMultihop-RAG、Finance-RAG、LegalBench-RAGの三つの公開データと、Qwen2-1.5B、e5-mistral-7Bの二モデルで比較した。指標のHit@4は、正解根拠が上位4件に入る割合を表す。Qwen2-1.5BのMultihop-RAGでは、学習前59.69％、BMEmbedは68.34％だった。
一方、同モデルのFinance-RAGではBMEmbedのHit@4は45.38％、RRFは49.80％だった。e5-mistral-7BのMultihop-RAGでは、学習前54.99％からBMEmbedの71.49％へ上がった。著者らは複数の指標で改善を報告する一方、比較手法との優劣はデータによって異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の製品コードを含む技術文書の検索に使う。入力は社内文書の段落と「PHX-121の仕様変更理由」のような質問、出力は根拠になりそうな段落の順位付き一覧とする。まず対象文書から質問を作り、BM25の順位を使って検索モデルを調整する。
利用者には上位段落と元文書への参照を示し、回答生成に渡す前に根拠候補を確認できる形にする。製品コードの完全一致が必要な質問と、言い換えを含む質問を分けて順位を点検する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：検索対象を一つの文書群に絞り、担当者が正解段落を確認した質問を用意する。学習前の埋め込み検索、BM25、両者を統合するRRF、BMEmbedで、同じ質問に対するHit@4と上位10件の順位を比べる。
製品コードを含む質問と言い換えた質問を別々に集計し、特に誤った段落が上位に来た例を読む。質問生成に使った文書と評価用質問の重なりを管理し、実際の利用者の質問で改善が続くかを確認する。
限界と課題
著者らが使った三つの評価データは公開データであり、公開時期の違いを利用して「私有データに近い状況」を模擬している。実際の社内文書で同じ改善が出ることを示した試験ではない。また、LegalBench-RAGではBMEmbedとRRFの組み合わせによる追加改善が見られなかった。
編集上の確認点は、専門語の一致が内容の関連性をどこまで表すかである。自動生成した質問とBM25順位に誤りがあれば、その誤りも学習され得る。文書更新後の順位と、機密文書を扱う運用も別途確認したい。
出典
元のタイトル・要旨を確認する（英語）
Adapting General-Purpose Embedding Models to Private Datasets Using Keyword-based Retrieval
Text embedding models play a cornerstone role in AI applications, such as retrieval-augmented generation (RAG). While general-purpose text embedding models demonstrate strong performance on generic retrieval benchmarks, their effectiveness diminishes when applied to private datasets (e.g., company-specific proprietary data), which often contain specialized terminology and lingo. In this work, we introduce BMEmbed, a novel method for adapting general-purpose text embedding models to private datasets. By leveraging the well-established keyword-based retrieval technique (BM25), we construct supervisory signals from the ranking of keyword-based retrieval results to facilitate model adaptation. We evaluate BMEmbed across a range of domains, datasets, and models, showing consistent improvements in retrieval performance. Moreover, we provide empirical insights into how BM25-based signals contribute to improving embeddings by fostering alignment and uniformity, highlighting the value of this approach in adapting models to domain-specific data. We release the source code available at https://github.com/BaileyWei/BMEmbed for the research community.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29