アーカイブ / LLM / RAG
検索文書同士の矛盾を、関係をたどる問題として測るMAGIC
MAGIC
MAGICの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example of a three-hop conflict from our benchmark, MAGIC. Even advanced LLMs struggle to detect subtle inconsistencies across two contexts, such as conflicting release orders of two songs.
概要
- MAGICは知識グラフから二つの文書間の矛盾を作る1,080件の評価セット。
- ５モデル平均の矛盾発見点は59.07％、箇所特定点は36.42％だった。
- 実務では矛盾の有無と、該当箇所を正しく示せるかを別々に測れる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MAGICの仕組み
- 01知識グラフ
- 02部分グラフ抽出
- 03関係の変更と文章化
- 04矛盾の評価例
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索で見つけた文書を使って答えるRAG、つまり検索拡張生成では、複数の文書が食い違うことがある。そのまま回答を作ると、どちらの記述を根拠にしたのか分かりにくい。
単純な名前の置き換えなら矛盾を発見できても、二つ以上の関係をたどる必要がある場合は難しい。矛盾の発見と箇所の特定を分けて測る評価が必要になる。
手法
MAGICは知識グラフを基に評価例を作る。知識グラフとは「対象Ａ・関係・対象Ｂ」の組で事実をつなぐ表現で、著者らはWikidata5Mから小さな部分グラフを抽出する。その一部の点や関係を変更し、元のグラフと変更後のグラフをそれぞれ文章に変換する。例えば二つの曲の発表順を関係の連鎖で表すと、個々の文だけでは見えない順序の矛盾を作れる。
生成時には関係ごとの例を示し、研究者が不自然な候補を選別する。評価では二つの文章をモデルに渡し、矛盾の有無、件数と理由、矛盾する文の位置を答えさせる。一段で分かる例と複数段をたどる例、矛盾が一つの例と複数ある例を区別する。
新規性
MAGICは、質問への答えの候補だけに矛盾を置かず、二つの文章間の食い違い自体を検出対象にする。知識グラフの関係を使い、一つの事実で分かる矛盾と、複数の関係をたどって初めて分かる矛盾を作る。
矛盾の有無だけでなく、食い違う文の位置も評価する。元のグラフと変更後のグラフが残るため、どの関係を変えたかを追える。
従来手法との違い
既存の評価には、質問への回答候補を置き換えるものや、事実中の固有名詞を差し替えるものが多い。論文は比較用にECONの168件とWikiContradictの重複除去後103件も使う。
MAGICは質問なしで二つの文脈を比較させ、単一の関係と複数段の関係を扱う。著者らの分類では、単純な一段の矛盾がECONで78％、WikiContradictで76％を占める。
実験結果
MAGICは1,080件で、比較したECONは168件、WikiContradictは103件。著者らは５種類の言語モデルを課題向けの追加学習なしで使い、各例を３回推論した。発見点は３回中一度でも矛盾を見つければ１点、位置特定点はすべての箇所を正しく示した場合だけ１点とした。
５モデル平均の発見点はMAGICで59.07％、ECONで74.73％、WikiContradictで69.93％。位置特定点は順に36.42％、57.09％、55.74％だった。著者らは、複数段の矛盾ほど発見と位置特定が難しいと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程を検索して回答する仕組みの矛盾検査に応用する。入力は同じ手続きに関する二つの規程文、出力は矛盾の有無、食い違う文、関係する手続きのつながりとする。
例えば申請の承認順序を別々の文書が述べる場合、担当者は指摘された箇所を原文で確認する。MAGICは評価用の研究なので、この運用の性能は別途測る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象文書から、同じ事項に触れる二つの記述を少数選び、人が矛盾の有無と該当箇所を記録する。単一文で分かる例と、条件や順序をたどる例を分ける。
既存の単純な二択指示と、理由・箇所まで求める指示を同じモデルで比べる。矛盾発見率に加え、指摘した全文が正しい割合と、矛盾を見落とした件数を確認する。
限界と課題
著者らは、モデルが矛盾を見つけても正確な箇所を示せない場合が多く、複数の関係をたどる矛盾で特に難しくなると報告する。MAGICの文章はグラフの改変から生成し、人手で選別している。
編集上の確認事項は、実際の社内文書にある例外規定、改定日、条件付きの記述を同じ基準で扱えるかである。生成された矛盾で高得点でも、実文書への適用成績は示されていない。
出典
元のタイトル・要旨を確認する（英語）
MAGIC: A Multi-Hop and Graph-Based Benchmark for Inter-Context Conflicts in Retrieval-Augmented Generation
Knowledge conflict often arises in retrieval-augmented generation (RAG) systems, where retrieved documents may be inconsistent with one another or contradict the model's parametric knowledge. Existing benchmarks for investigating the phenomenon have notable limitations, including a narrow focus on the question answering setup, heavy reliance on entity substitution techniques, and a restricted range of conflict types. To address these issues, we propose a knowledge graph (KG)-based framework that generates varied and subtle conflicts between two similar yet distinct contexts, while ensuring interpretability through the explicit relational structure of KGs. Experimental results on our benchmark, MAGIC, provide intriguing insights into the inner workings of LLMs regarding knowledge conflict: both open-source and proprietary models struggle with conflict detection -- especially when multi-hop reasoning is required -- and often fail to pinpoint the exact source of contradictions. Finally, we present in-depth analyses that serve as a foundation for improving LLMs in integrating diverse, sometimes even conflicting, information.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29