アーカイブ / RAG / LLM
検索法の実行から回答評価までそろえるRAG評価基盤「EncouRAGe」
EncouRAGe
EncouRAGeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: System overview of the EncouRAGe Python library. Input data in any format must be transformed to fit the Type manifest . The RAG Factory provides various RAG methods, while the Metrics component implements all evaluation metrics. Inference can be executed locally or via cloud providers using the OpenAI SDK, and supported Vector stores include Chroma and Qdrant. The output fits popular monitoring systems.
概要
- EncouRAGeは質問・正解・根拠文書を共通形式で扱い、RAG手法の実行と検索・回答の評価をつなぐ。
- 著者らのFinQA実験では、数値回答のNMはBase RAGが47.8、Hybrid BM25が51.8、Oracle Contextが72.9だった。
- 各データ集合から2,000問を使った再順位付け実験では、著者らは回答指標の改善が限定的で、実行時間はBase RAGの2～4倍と報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EncouRAGeの仕組み
- 01質問・正解・根拠文書
- 02共通形式に変換
- 03文書検索・回答生成
- 04検索と回答を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EncouRAGeは、文書を検索してから言語モデルに回答を作らせるRAG（検索拡張生成）を評価する基盤だ。回答が誤ったときは、必要な文書を見つけられなかったのか、文書を使った回答生成で誤ったのかを調べる必要がある。
対象分野によって質問や文書の形が変わる。著者らは、データ形式、検索法、モデルの実行、採点方法を共通化し、分野別のデータでもRAG手法を比較しやすくすることを目指した。
手法
入力は質問、正解、正しい根拠文書の組で、Type Manifestという共通形式に収める。RAG Factoryで手法を選び、質問に関連する文書を検索する。例えば規程についての質問なら、見つけた規程の箇所を質問とともに生成モデルへ渡し、回答を得る。
検索法には、文書の意味を数値に変えて近さを比べる方法や、語の一致を使うBM25がある。Inferenceはモデルへの入力と結果の受け取り、Vector Storeは文書の数値表現の保存と検索を担う。Metricsでは、回答と正解の一致に加え、必要な根拠文書が検索結果に入ったかを調べる。
新規性
著者らが新規性として挙げるのは、10種類のRAG手法、共通のデータ構造、20種類超の評価指標を一つのPython基盤に収めた点だ。質問や根拠文書の対応関係を保ちながら、手法を切り替えて実行できる。
指標は回答、検索、言語モデルによる採点の3群に分かれる。言語モデルに採点させる際の指示文も変更でき、対象データに合わせて評価項目を設計できる。
従来手法との違い
著者らによれば、RAGASとRAGCheckerは検索と回答を調べる指標を提供するが、比較用のRAG手法自体は実装していない。EncouRAGeは手法の実行と採点を共通の枠組みに置く。
実験には、質問の意味に近い文書を探すBase RAG、語の一致を使うBM25、両者を組み合わせるHybrid BM25などを含む。正しい根拠文書を直接渡すOracle Contextは、検索で文書を選ぶ場合との差を調べる条件である。
実験結果
著者らはHotPotQA、FeTaQA、FinQAと、生物医学分野のデータを使い、計24,968組の質問・正解と51,068文書を扱った。主実験はGemma 3 27Bで回答を生成し、multilingual e5-large instructで文書を数値化して、各手法の上位10文書を用いた。
FinQAの数値回答を小数第2位まで照合するNMは、Base RAGが47.8、Hybrid BM25が51.8、Oracle Contextが72.9だった。別の再順位付け実験では各データ集合から2,000問を抽出し、著者らは回答指標の改善が限定的で、実行時間がBase RAGの2～4倍と報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問応答を試す。入力は部署の規程文書、実際の質問、担当者が確認した正解と根拠文書とし、各検索法の回答、参照文書、評価値を出力する。回答の誤りと根拠文書の取り逃しを別々に確認する。
文書は検索対象として整え、質問と正解には担当者のラベルを付ける。既存モデルを使い、追加学習用データは用意しない想定で、センサーも不要だ。規程の見出しや表の形式に合わせた入力整形と採点基準の調整が必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：規程文書と質問を少数集め、担当者が各質問の正解と根拠文書を付ける。文書形式を整えて同じ生成モデルを使い、Base RAGを基準にHybrid BM25を比較する。正しい文書を直接渡す条件も設け、検索による差を確かめる。
既存モデルを追加学習せずに試すため、学習用データは不要だが、評価用の正解ラベルと根拠文書は必要だ。センサーは使わない。上位10件に根拠文書が入る割合、回答の正解との一致、回答時間を測り、表や見出しに応じた入力整形の影響も確認する。
限界と課題
著者らは、再順位付けで検索指標が改善する場合でも、回答指標の改善は限定的で、実行時間はBase RAGの2～4倍だったと報告する。表を使うFeTaQAでは、試した再順位付けモデルの明確な改善は見られなかった。
編集上の検証事項は、社内文書で正解と根拠文書を十分に付けられるか、表を含む規程でも検索と採点が安定するかである。対象名は表でBioSQA、データ説明でBioASQと異なるため、実験結果を参照する際には対象版を確認したい。
出典
元のタイトル・要旨を確認する（英語）
EncouRAGe: Evaluating RAG Local, Fast, and Reliable
We introduce EncouRAGe, a comprehensive Python framework designed to streamline the development and evaluation of Retrieval-Augmented Generation (RAG) systems using Large Language Models (LLMs) and Embedding Models. EncouRAGe comprises five modular and extensible components: Type Manifest, RAG Factory, Inference, Vector Store, and Metrics, facilitating flexible experimentation and extensible development. The framework emphasizes scientific reproducibility, diverse evaluation metrics, and local deployment, enabling researchers to efficiently assess datasets within RAG workflows. This paper presents implementation details and an extensive evaluation across multiple benchmark datasets, including 25k QA pairs and over 51k documents. Our results show that RAG still underperforms compared to the Oracle Context, while Hybrid BM25 consistently achieves the best results across all four datasets. We further examine the effects of reranking, observing only marginal performance improvements accompanied by higher response latency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01