アーカイブ / RAG / LLM
規制文書の検索を二段階で調整し、回答評価指標の弱点も調べる
MST-R
概要
- MST-Rは4方式の検索結果を統合し、規制分野のデータで調整したモデルで候補を再順位付けする。
- ObliQAで著者らが報告したMST-RのRecall@10は0.8746、MAP@10は0.7601。BGEの5例提示版は順に0.7796、0.6178だった。
- 取得箇所の単純な連結はRePASsで0.947と、Llamaの回答の0.41を上回ったが、質問への関連性などを問う別の評価では順位が逆転した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MST-Rの仕組み
- 01質問と規制文書
- 02４方式で候補検索
- 03順位を統合
- 04候補を再順位付け
- 05関連箇所
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MST-Rは、規制文書から質問に関係する箇所を探す手法である。専門用語や細かな意味の違いがある文書では、必要な箇所の見落としが担当者の判断に影響するため、検索で拾える割合が重要になる。
検索拡張生成（RAG）は、検索で得た文書の箇所を回答作成に渡す仕組みだ。この研究は主に検索部分を規制分野へ合わせ、取得箇所を使った回答の評価方法も調べている。
手法
まず、ObliQAの質問と関連箇所を使い、意味が近い文を探すE5モデルと、似た過去の質問を探すMPNetモデルを調整する。学習には、正解に似ていて紛らわしい不正解例を選ぶ「難しい負例」を使う。検索時は、語の一致を見るBM25、5件の例を与えたBGE、調整後のE5、過去の類似質問に対応する正解箇所を探すQ2Qの4方式で候補を得る。
次に、各方式で上位の候補ほど高く評価する順位統合法で結果をまとめる。質問と候補を一緒に読んで関連性を判定するモデルを、上位候補から選んだ正解例と不正解例などで調整し、順序を付け直す。例えば義務の適用条件を問う質問では、順位付けした関連箇所を回答作成に渡す。
新規性
MST-Rは、関連箇所に似た不正解例を使って検索用モデルを調整し、4方式の検索結果を統合したうえで、その上位候補を使って再順位付けモデルも調整する手法である。
著者らは回答評価指標RePASsも調べ、取得箇所をそのまま連結した出力が、言語モデルの回答より高得点になる例を示した。検索性能と回答品質を別々に確かめる必要性を指摘している。
従来手法との違い
検索の比較対象は、語の一致を使うBM25と、5件の例を与えた意味検索モデルBGEである。ObliQAでのRecall@10は順に0.7611、0.7796、4方式を統合した段階で0.832、再順位付けを加えたMST-Rで0.8746だった。
回答では、Llama3.1 Instruct 8Bが作る文と、取得箇所の連結などを比較した。連結方式はRePASsで高得点だったが、質問への直接性などを問う別の評価ではLlamaの回答が上回った。
実験結果
著者らはRIRAG課題のObliQAで検索を評価した。Recall@10は上位10件で関連箇所を拾えた割合、MAP@10は関連箇所の順位も考慮する指標である。MST-Rは順に0.8746、0.7601で、BGEの5例提示版は0.7796、0.6178、順位統合のみでは0.832、0.6914だった。
回答評価では、取得箇所の連結がRePASs 0.947、Llama3.1 Instruct 8Bの回答が0.41だった。RePASsは取得箇所との整合、矛盾、義務の網羅を測る。一方、質問への関連性などを判定する言語モデルによる別の評価は、連結が2.823、Llamaが3.91と著者らは報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の規制対応担当者が、義務の適用条件を尋ねられた際に関連条項を探す。入力は質問と版を管理した規制文書の本文、出力は原文を確認できる候補箇所の一覧とし、担当者が適用条件を判断する。
適用には対象文書に加え、過去の質問と関連箇所を結び付けた学習データ、関連・非関連のラベルが要る。センサー入力は想定しない。担当者がラベルを確認し、検索用モデルと再順位付けモデルを対象文書に合わせて調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の規制文書を版ごとに集め、実務の質問と関連箇所を担当者が結び付け、関連・非関連のラベルを点検する。入力は本文と質問で、センサーは不要と想定する。質問を学習用と評価用に分け、検索用モデルと再順位付けモデルを学習用データで調整する。
同じ評価用質問でBM25を基準に、順位統合のみと再順位付け後のRecall@10、MAP@10、重要箇所の見落としを比べる。回答も作る場合は、担当者が正確さと質問への直接性を確認する。文書改訂後にはラベルを見直し、再測定する。
限界と課題
著者らは回答生成モデルを対象分野に合わせて調整しておらず、システム全体も実運用に足る包括的評価を受けていないと述べる。RePASsは正解回答も入力質問も使わず、取得箇所の連結が高得点になるため、回答品質の判断には追加の評価が必要だと論じている。
編集上の検証事項として、別の規制文書や改訂後の文書でも重要箇所を拾えるかを確かめたい。担当者による回答の正確さ、質問への直接性、確認時間の評価も必要であり、示された得点だけでは実運用の効果は判断できない。
出典
元のタイトル・要旨を確認する（英語）
MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation
Regulatory documents are rich in nuanced terminology and specialized semantics. FRAG systems: Frozen retrieval-augmented generators utilizing pre-trained (or, frozen) components face consequent challenges with both retriever and answering performance. We present a system that adapts the retriever performance to the target domain using a multi-stage tuning (MST) strategy. Our retrieval approach, called MST-R (a) first fine-tunes encoders used in vector stores using hard negative mining, (b) then uses a hybrid retriever, combining sparse and dense retrievers using reciprocal rank fusion, and then (c) adapts the cross-attention encoder by fine-tuning only the top-k retrieved results. We benchmark the system performance on the dataset released for the RIRAG challenge (as part of the RegNLP workshop at COLING 2025). We achieve significant performance gains obtaining a top rank on the RegNLP challenge leaderboard. We also show that a trivial answering approach games the RePASs metric outscoring all baselines and a pre-trained Llama model. Analyzing this anomaly, we present important takeaways for future research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01