アーカイブ / RAG / LLM
ラベルのない少量文書で検索器を調整するREFINE――合成質問と学習中の表現融合
REFINE
REFINEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (A) standard BGE process followed for fine-tuning. (B) training process for REFINE.
概要
- ラベルのない文書から質問を生成し、生成元文書を正例、検索結果から選んだ文書を負例として検索器を学習する。
- 更新中のBGEと固定した事前学習BGEの表現を学習中に混ぜ、対象文書への適応と別データセットでの性能維持を狙う。
- 著者らの表2では、REFINEのRecall@3はTOURISM、SQUAD、RAG 12000のいずれも未調整BGEを上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、REFINEの仕組み
- 01ラベルなし文書
- 02質問と負例を作成
- 03新旧表現を融合
- 04検索器を学習
- 05候補文書を取得
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
REFINEは、分野固有の文書が少ないときに、質問に合う文書を探す検索器を調整する手法である。検索拡張生成（RAG）は、検索した文書を大規模言語モデルに渡して回答を作る方式で、文書の取り違えは回答の根拠に影響する。
検索器は、質問と文書を数値の並びである「埋め込み表現」に変え、その近さで候補を選ぶ。分野固有の検索に合わせた追加学習には、通常、質問と正解文書の組が要る。企業内ではその組を用意しにくく、ラベルのない文書自体も少ない場合がある。
手法
まず、各文書から大規模言語モデルで10件の質問を生成し、生成元の文書を正例とする。事前学習済みのBGEで近い文書を上位50件まで探し、上位5件を除いたうえで、類似度が0.5～0.7の文書を負例に選ぶ。負例は、質問に似ていても正解として扱わない学習例である。たとえばホテルの電話番号を問う質問なら、その番号が載った生成元文書を正例にする。
次に同じBGEから、更新するモデルと重みを固定するモデルを用意する。質問・正例・負例をそれぞれ両方で数値化し、その表現を混ぜる。正例を質問に近づけ、負例を遠ざける「対照学習」で更新した後、質問に近い文書を候補として取り出す。
新規性
REFINEは、文書から質問と対照学習用の例を作り、正解文書の人手ラベルが乏しい条件で検索用モデルを調整する。質問の生成元を正例とし、検索結果から紛らわしい負例を選ぶ構成である。
さらに、更新中のモデルと重みを固定した事前学習モデルの表現を、学習中に混ぜる。著者らは、対象文書への適応と、別のデータセットでの検索性能の維持を狙っている。
従来手法との違い
比較対象には、未調整のBGE、同じ合成データで通常の追加学習をしたBGE、学習後にモデルを統合するLM-cocktailが含まれる。REFINEは、固定モデルの表現を学習中に取り込む点で、通常の追加学習や学習後の統合と異なる。
表2のRecall@3では、REFINEは3データセットすべてで未調整BGEを上回った。通常の追加学習との比較でもREFINEが上回るが、RAG 12000では通常の追加学習のRecall@3は未調整BGEを下回る。
実験結果
著者らは、SQUADの300文書・300質問、RAG 12000の100文書・100質問、非公開TOURISMの58文書・58質問で検索を評価した。SQUADとRAG 12000には質問と根拠文書の対応があり、TOURISMの評価質問は各文書から人手で作った。通常は上位3文書を取得し、学習を伴うモデルは乱数設定を変えた5回の平均を報告している。
表2のRecall@3は、未調整BGEからREFINEへ、TOURISMで0.884→0.937、SQUADで0.866→0.923、RAG 12000で0.937→0.940となった。Recall@3は、正解文書を上位3件で拾えた割合である。表3では別データセットへの適用も調べているが、その結果を未検証の分野全般に広げて判断することはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の旅行商品案内から、問い合わせへの回答に使う候補文書を探す。入力は案内文書と担当者が受けたテキストの質問、出力は回答前に確認する上位の候補文書とする。センサー入力は想定しない。
学習には既存の案内文書を用い、各文書から質問を生成して元文書との組を作る。実際の問い合わせについては、担当者が質問と正しい参照文書の対応を付ける必要がある。表中の電話番号などを問う例も含め、候補文書が根拠として適切か人が確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のテキスト文書を集め、各文書から合成質問を作って学習例にする。評価には別途、実際の問い合わせと正しい参照文書の組を担当者が付ける。文書の区切り方と質問生成、負例選択を対象業務に合わせて確認し、センサーは用いない。
未調整BGEと、同じ合成例で通常の追加学習をしたBGEを比較対象にする。各質問で正解文書が上位3件に入る割合を測り、固有名や表の値を問う質問を分けて確認する。文書を更新した後も同じ指標を測り、誤った候補が増えていないか点検する。
限界と課題
著者らは、別データセットでの評価をSQUADとRAG 12000の組み合わせに限り、より多くの大きなデータセットや、複数文書をたどる検索を今後の課題としている。TOURISMは非公開データである。要旨と本文にはTOURISMの改善率に異なる記載があり、表の実測値で確認する必要がある。
編集上の検証事項は、生成した質問が実際の問い合わせを代表するか、負例に正解となり得る文書が混じらないかである。検索された文書を使って作る回答の正確さも、検索指標とは別に確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models
Retrieval augmented generation (RAG) pipelines are commonly used in tasks such as question-answering (QA), relying on retrieving relevant documents from a vector store computed using a pretrained embedding model. However, if the retrieved context is inaccurate, the answers generated using the large language model (LLM) may contain errors or hallucinations. Although pretrained embedding models have advanced, adapting them to new domains remains challenging. Fine-tuning is a potential solution, but industry settings often lack the necessary fine-tuning data. To address these challenges, we propose REFINE, a novel technique that generates synthetic data from available documents and then uses a model fusion approach to fine-tune embeddings for improved retrieval performance in new domains, while preserving out-of-domain capability. We conducted experiments on the two public datasets: SQUAD and RAG-12000 and a proprietary TOURISM dataset. Results demonstrate that even the standard fine-tuning with the proposed data augmentation technique outperforms the vanilla pretrained model. Furthermore, when combined with model fusion, the proposed approach achieves superior performance, with a 5.76% improvement in recall on the TOURISM dataset, and 6.58 % and 0.32% enhancement on SQUAD and RAG-12000 respectively.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01