アーカイブ / RAG / LLM
複数の根拠をたどる質問でRAGの検索方式を測るOPI
Overall Performance Index (OPI)
Overall Performance Index (OPI)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Table 1: Information of logical relations
概要
- OPIは、生成回答と正解回答の意味の近さ、論理関係の分類正解率を組み合わせてRAGの検索方式を評価する。
- 著者らの13種類の論理関係を用いた比較では、平均OPI-1はkNNが最高、EDIが最低と報告された。
- 七方式または四方式の組み合わせはkNN単独を上回ったが、kNNとDPSの二方式併用はわずかに下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Overall Performance Index (OPI)の仕組み
- 01文書・質問・正解
- 02文書分割と検索
- 03GPT-4oで回答
- 04論理関係を判定
- 05OPI算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OPIは、検索拡張生成（RAG）の検索方式が、複数の記述を結び付ける質問にどれだけ役立つかを測る指標だ。RAGは文書から関連箇所を探し、質問とともに言語モデルへ渡して回答を作る。
この種の質問では、回答が正解に似ていても、文書中の理由や前後関係を取り違えている可能性がある。著者らは回答の意味の近さと論理関係の正しさを併せて測り、検索方式を比較した。
手法
参照文書を一部が重なる短いまとまりに分け、検索方式ごとに質問に関連する箇所を選ぶ。評価では上位四つのまとまりを原文の完全な文に戻し、質問とともにGPT-4oへ渡して回答を作った。例えば二つの出来事の因果関係を尋ねる場合、検索された文が回答の材料になる。
生成回答と正解回答はBERTという言語モデルで数値の並びに変換し、その向きの近さを平均する。別途、参照文書・質問・回答から論理関係を判定する分類器の予測を正解ラベルと照合する。OPIは意味の近さと分類正解率の調和平均で、低い方の値にも強く左右される。
新規性
著者らが提案するOPIは、生成回答と正解回答の意味の近さに、質問・回答・参照文書についての論理関係が正しく分類された割合を組み合わせる。回答だけを採点すると見えにくい、関係の取り違えも評価に含める設計だ。
二つの値は調和平均でまとめるため、片方が低ければ総合値も下がる。著者らは回答と関係分類を等しく扱う設定をOPI-1と呼び、検索方式の比較に用いた。
従来手法との違い
著者らはLangChainの七つの検索方式を同じテストデータで比較した。13種類の論理関係を横断する平均OPI-1は、文の数値表現の向きを比べるkNNが最高、内積を使うDPSが次点、単語の出現を基に距離を測るEDIが最低と報告している。
検索方式の組み合わせも試し、七方式または四方式の組み合わせはkNN単独を上回った。一方、kNNとDPSの二方式を組み合わせた場合は下回ったため、併用すれば必ず改善するという結論にはならない。
実験結果
著者らはRAG-Dataset-12000の13種類の論理関係から各100件を選び、RAG-QA-1300を作成して訓練用とテスト用に80対20で分けた。調整したGPT-4o分類器のテスト精度は75.77%、未調整では49.23%だった。
検索比較では文書を最大100語、20%重複のまとまりに分け、各方式の上位四つを使用した。著者らは、回答を人手で0・3・7点に採点した順位とBERTによる意味の近さの順位がおおむね一致したと述べる。確認できた本文の範囲では結果表の数値がなく、方式間のOPI-1の点差は示せない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内手順書の変更履歴について、「旧版の承認条件は新版でどう変わったか」に答える検索付き質問応答を試す。入力は版を明示した手順書と質問、出力は回答、参照した文、変更関係の分類とする。
利用許可のある旧版・新版の文書をそろえ、複数箇所を照合する質問、正解回答、根拠文、関係分類の正解ラベルを担当者が作る。版の対応付けと分類体系は社内文書に合わせて定め、回答が挙げた根拠を担当者が確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：旧版と新版の手順書を集めて版を固定し、複数箇所を読む質問、正解回答、根拠文、変更関係の正解ラベルを担当者が用意する。必要な入力は文書と質問で、検証にはこれらの正解データも使う。追加のセンサーは想定しない。
まずkNN単独を比較基準とし、別の検索方式との組み合わせを同じ質問集合で試す。分類体系を社内の変更関係に合わせて調整したうえで、回答の意味の近さ、分類正解率、OPI、根拠文の一致を記録し、誤答を人手で確認する。
限界と課題
著者らは、kNNとDPSの二方式併用ではkNN単独より平均OPI-1がわずかに低く、七方式の取得文を統合した構成は七方式を検索段階で組み合わせる構成より低いと報告する。取得文を増やす効果は構成によって異なる。
編集上の検証事項：論理関係の分類器は論文のデータで調整されており、社内文書での分類精度は確認が必要だ。OPIを測るには正解回答と関係ラベルも要る。回答の意味が正解に近くても、参照文との整合は別に点検したい。
出典
元のタイトル・要旨を確認する（英語）
Intrinsic Evaluation of RAG Systems for Deep-Logic Questions
We introduce the Overall Performance Index (OPI), an intrinsic metric to evaluate retrieval-augmented generation (RAG) mechanisms for applications involving deep-logic queries. OPI is computed as the harmonic mean of two key metrics: the Logical-Relation Correctness Ratio and the average of BERT embedding similarity scores between ground-truth and generated answers. We apply OPI to assess the performance of LangChain, a popular RAG tool, using a logical relations classifier fine-tuned from GPT-4o on the RAG-Dataset-12000 from Hugging Face. Our findings show a strong correlation between BERT embedding similarity scores and extrinsic evaluation scores. Among the commonly used retrievers, the cosine similarity retriever using BERT-based embeddings outperforms others, while the Euclidean distance-based retriever exhibits the weakest performance. Furthermore, we demonstrate that combining multiple retrievers, either algorithmically or by merging retrieved sentences, yields superior performance compared to using any single retriever alone.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01