アーカイブ / RAG
RAGの回答はどこで崩れたか――検索・回答・根拠を分けて調べるRAGVue
RAGVue
RAGVueの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Introduction page.
概要
- RAGVueは検索、回答、主張ごとの根拠を分け、説明付きで評価する。
- StrategyQA由来の合成例100組で、平均処理時間はRAGASの18.26秒に対しRAGVueは18.87秒だった。
- 社内文書に使う際は、人手で記録した論点や根拠と照合し、表記の違いによる誤判定を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RAGVueの仕組み
- 01質問・回答・検索文書
- 02質問の論点抽出
- 03検索と回答の採点
- 04主張の根拠照合
- 05説明付き評価結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RAGは、質問に関連する文書を検索し、その内容を使って言語モデルに回答させる方式である。回答が外れたとき、必要な文書が見つからなかったのか、回答が論点を落としたのか、文書にない事実を述べたのかで、直す箇所は変わる。
一つの総合点だけでは、その原因を追いにくい。RAGVueは質問、検索文書、回答を別々の観点から評価し、担当者が失敗箇所を調べるための説明を返す。
手法
質問、生成済みの回答、検索された文書を入力する。質問を答えるべき小さな論点に分け、各文書が役立つか、文書全体で論点を支える材料がそろうかを調べる。同じ論点を使い、回答が質問に沿っているか、必要な内容を扱ったかも採点する。例えば二つの条件を尋ねる質問なら、それぞれについて文書と回答を確認する。
次に回答を最小単位の事実上の主張に分け、検索文書に明示的な裏付けがあるかを一度の言語モデルへの問い合わせで判定する。人名などの重要な名称や日付は厳密に照合し、一部でも裏付けを欠く主張は完全に支持された数に入れない。評価項目は手動でも自動でも選べ、複数の評価者設定による点数の揺れも測れる。
新規性
RAGVueは、検索文書の有用性と論点の網羅、回答の質問適合性と網羅、主張ごとの根拠を別々に採点し、各項目に説明を付ける。正解となる回答文を用意せずに評価できる設計である。
主張の根拠判定では、人名などの重要な名称と日付の明示的な一致を求める。さらに、評価に使う言語モデルや設定を変えた際の点数の一致度を示し、判定の揺れも調べられる。
従来手法との違い
比較対象のRAGASも、検索文書や回答を評価する既存の仕組みである。著者らによると、RAGVueは検索文書を一つずつ採点し、質問の各論点に必要な根拠が文書全体でそろうかを別に確認する。
回答側では、質問の論点が扱われたかと、個々の事実上の主張が文書に支えられるかを分ける。著者らは、RAGASの根拠判定より厳しい照合だと説明する。この違いは、論文で扱った指標の設計と合成例での観察に基づく。
実験結果
著者らは、複数の事実をつないで答えるStrategyQAを基に、質問・検索文書・回答の組を100件作成した。各質問から理想的、部分的、不明瞭、質問から外れた、根拠のない回答という5種類の合成例を作っている。質問100件を使ったという意味ではない。
著者らの報告では、100組での平均処理時間はRAGASが1件18.26秒、RAGVueが18.87秒だった。RAGVueの平均は回答網羅性0.12、厳密な根拠一致度0.40である。これらは別々の評価項目の値であり、RAGASに対する判定精度の改善率ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程を検索して答える相談窓口で、回答の不備を担当者が調べる。入力は社員の質問、生成済みの回答、実際に検索された規程の文章とし、出力された項目別の点数と説明から、文書不足、回答漏れ、根拠不足を確認する。
規程文書を検索対象として整える適応作業が必要になる。専用の学習データは想定せず、検証用には質問の論点と根拠箇所を担当者が記録する。音声や画像のセンサーは使わず、文章を入力する運用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の社内規程について、質問、検索された文章、既存システムの回答を保存する。専用の学習データは用意せず、検証用の正解ラベルとして担当者が質問の論点、根拠箇所、不備の種類を記録する。入力は文章なので追加のセンサーは要らず、規程を検索できる形に整える。
同じ質問群に既存の評価方法とRAGVueを適用し、検索不足、回答漏れ、根拠不足の分類を人手の記録と照合する。一致件数、誤分類件数、1件当たりの処理時間を測る。規程特有の表記で判定が揺れた例を確認し、評価基準を調整する。
限界と課題
確認できた本文の範囲では、著者が明示した制約は見当たらない。実験はStrategyQA由来の合成例100組に基づき、日本語の社内規程でも同じ診断ができるかは示されていない。評価者間の点数の一致は、判定の正しさそのものを証明しない。
編集上の検証事項として、同じ対象を異なる表記で書いた場合に、厳密な根拠判定がどう働くかを人手で確かめたい。規程の改訂によって古い文書が検索された場合も、文書との一致と規程としての正しさを分けて確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
RAGVUE: A Diagnostic View for Explainable and Automated Evaluation of Retrieval-Augmented Generation
Evaluating Retrieval-Augmented Generation (RAG) systems remains a challenging task: existing metrics often collapse heterogeneous behaviors into single scores and provide little insight into whether errors arise from retrieval,reasoning, or grounding. In this paper, we introduce RAGVUE, a diagnostic and explainable framework for automated, reference-free evaluation of RAG pipelines. RAGVUE decomposes RAG behavior into retrieval quality, answer relevance and completeness, strict claim-level faithfulness, and judge calibration. Each metric includes a structured explanation, making the evaluation process transparent. Our framework supports both manual metric selection and fully automated agentic evaluation. It also provides a Python API, CLI, and a local Streamlit interface for interactive usage. In comparative experiments, RAGVUE surfaces fine-grained failures that existing tools such as RAGAS often overlook. We showcase the full RAGVUE workflow and illustrate how it can be integrated into research pipelines and practical RAG development. The source code and detailed instructions on usage are publicly available on GitHub
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01