アーカイブ / RAG / LLM
中国語Wikipediaと金融法規を検索し、回答の参考資料を選び直すRAG
BGE-M3 and BGE-reranker RAG
BGE-M3 and BGE-reranker RAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Basic Flow for this study
概要
- BGE-M3で候補文書を探し、BGE-rerankerで質問への関連度を評価し直してからLLMに渡す。
- TTQAの103問では例示されたモデルの正答率が上がった一方、TMMLU+ではRAG適用時に正答率が下がったモデルもある。
- 金融知識のない20人が20問を解いた支援実験では、平均得点は資料提示前の28.75から提示後の85.25になった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、BGE-M3 and BGE-reranker RAGの仕組み
- 01利用者の質問
- 02BGE-M3で候補検索
- 03BGE-rerankerで再順位付け
- 04LLMが回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデル（LLM）は、学習後に更新された法規や専門知識について、誤った回答を作ることがある。従来の語句照合による検索も、質問と文書で言い回しが違うと、必要な箇所を見つけにくい。
検索拡張生成（RAG）は、質問を受けた時点で文書を探し、見つけた内容をLLMの回答材料にする方法だ。本研究は中国語の一般知識と金融法規を対象に、候補文書の検索と並べ直しを組み合わせた質問応答を調べる。
手法
検索源は中国語WikipediaとLawbankの金融関連法規である。法規は条項単位に分ける。BGE-M3は質問と文書をベクトルという数値の列に変え、意味の近さを比較できる形にする。FAISSという検索用の索引を使って候補を取り出し、BGE-rerankerが質問への関連度で候補を並べ直す。
上位の文書を質問とともにLLMへ渡し、回答を生成する。たとえば金融法規について質問された場合、関連する条項を探し、その内容を回答の参考にする。選択式問題の一部の評価では、生成した自由文の回答と各選択肢もBGE-M3でベクトルに変え、最も近い選択肢に対応付ける手順を使った。
新規性
著者らが構成したのは、BGE-M3で意味の近い文書を探し、BGE-rerankerで質問への関連度を評価し直してから、大規模言語モデルに渡す質問応答システムである。検索源には中国語WikipediaとLawbankの金融関連法規を用いる。
著者らは、許可された文書を検索源にでき、言語モデルをローカルで動かせる構成も特徴として挙げる。ただし、確認できた本文の範囲では、再順位付け単独の効果やプライバシー保護の効果を測った数値は示されていない。
従来手法との違い
TTQAでは、同じ言語モデルについて、検索資料を渡さない条件と、検索して得た資料を渡すRAG条件を比べている。金融銀行分野と保険分野では、中国語WikipediaとLawbankの法規を検索源にした条件も比較し、著者らはLawbankを使う条件で正答率が高かったと報告する。
本文にはTF-IDFやBM25などの従来の検索法との比較説明もある。しかし、確認できた本文の範囲では、同じ設問でそれらと提案構成を比べた測定値はない。BGE-M3とBGE-rerankerそれぞれの寄与も分離できない。
実験結果
著者らはTTQAの選択式103問で、検索資料の有無による正答率を比較した。表ではTaiwan-LLM-8x7B-DPOが57.28％から88.35％、ChatGPT 3.5が74.76％から88.35％となった。これらはシステム全体の比較であり、検索と再順位付けの効果を個別に測った値ではない。
TMMLU+では66分野・23,015問を対象に4モデルを調べ、TAIDE-LX-7B-ChatではRAG適用時の正答率低下を報告する。別の支援実験では、金融知識のない20人が金融銀行分野から選ばれた20問を解いた。平均得点は資料なしで28.75、システム生成資料を示した後で85.25だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：金融機関の担当者が、承認済みの社内規程について手続きの根拠を探す。質問を入力し、関連する条項と、それを参照した回答案を表示する。担当者は表示された条項の原文を開き、適用日を確かめてから回答を使う。
元データには版と適用日を管理した規程本文が必要で、検索前に条項単位へ分割する。追加学習なしで試す場合、学習用ラベルやセンサーは想定しない。評価には担当者が正答と根拠条項を付けた質問を用意する。日本語の社内規程への適応は編集上の提案であり、論文で検証された用途ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：版が確定した社内規程を条項ごとに分け、実務上の質問を少数集めて検索と回答を試す。元データは承認済みの規程本文と適用日の記録とする。追加学習を前提としない場合、学習用ラベルやセンサーは不要で、評価用には担当者が正答と根拠条項を付けた質問を用意する。
同じLLMに文書を渡さず答えさせる条件を基準にし、正答率、根拠条項の一致率、古い条項を示した件数、応答時間を測る。日本語の条項分割と質問の書き方を調整し、誤答が候補検索、再順位付け、回答生成のどこで生じたかを確認する。
限界と課題
著者らは、検索源だけでは高度に専門的な質問を覆いきれないこと、計算や論理的推論を要する質問への弱さ、BGE-rerankerの計算負荷を限界に挙げる。TMMLU+でも、TAIDE-LX-7B-ChatはRAGを使うと正答率が下がったと報告する。
編集上の検証事項は、改訂後の条項が検索結果に反映されるまでの時間、誤った根拠を示す頻度、応答時間である。参加者実験では資料なしで解答した後に資料ありで解答しており、同じ順序で進めたことが得点差にどう影響したかは切り分けられない。
出典
元のタイトル・要旨を確認する（英語）
Knowledge Retrieval Based on Generative AI
This study develops a question-answering system based on Retrieval-Augmented Generation (RAG) using Chinese Wikipedia and Lawbank as retrieval sources. Using TTQA and TMMLU+ as evaluation datasets, the system employs BGE-M3 for dense vector retrieval to obtain highly relevant search results and BGE-reranker to reorder these results based on query relevance. The most pertinent retrieval outcomes serve as reference knowledge for a Large Language Model (LLM), enhancing its ability to answer questions and establishing a knowledge retrieval system grounded in generative AI. The system's effectiveness is assessed through a two-stage evaluation: automatic and assisted performance evaluations. The automatic evaluation calculates accuracy by comparing the model's auto-generated labels with ground truth answers, measuring performance under standardized conditions without human intervention. The assisted performance evaluation involves 20 finance-related multiple-choice questions answered by 20 participants without financial backgrounds. Initially, participants answer independently. Later, they receive system-generated reference information to assist in answering, examining whether the system improves accuracy when assistance is provided. The main contributions of this research are: (1) Enhanced LLM Capability: By integrating BGE-M3 and BGE-reranker, the system retrieves and reorders highly relevant results, reduces hallucinations, and dynamically accesses authorized or public knowledge sources. (2) Improved Data Privacy: A customized RAG architecture enables local operation of the LLM, eliminating the need to send private data to external servers. This approach enhances data security, reduces reliance on commercial services, lowers operational costs, and mitigates privacy risks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01