アーカイブ / RAG / LLM
RAGへの文書汚染は競合するとどう変わるか――PoisonArenaの評価方法と実験結果
PoisonArena
PoisonArenaの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of different adversarial scenarios in RAG when answering the question "Who won the last US presidential debate?". (a) Naive RAG : RAG enables LLMs to generate more accurate answers by incorporating retrieved real-time information. (b) Single Attacker : A pro-Biden adversary seeks to manipulate public opinion in a way that could increase Biden’s chances of gaining more votes in the upcoming election. (c) Multi-Attacker : Different interest groups attempt to manipulate public opinion in favor of their preferred political parties, resulting in competing poisoning attacks on the same query.
概要
- PoisonArenaは、同じ質問に異なる誤答を狙う複数の文書汚染攻撃を競わせて評価する。
- 著者らの実験では、単独時に優勢な手法が競合時にも優勢とは限らず、表2でも二手法の攻撃成功率の順位が入れ替わった。
- 社内RAGへの応用では、正答と模擬誤答をラベル付けし、正常時・単独投入時・同時投入時の回答と検索結果を比較できる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PoisonArenaの仕組み
- 01質問と攻撃文書
- 02同時に文書を投入
- 03回答から勝敗判定
- 04競争係数を推定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PoisonArenaは、検索した文書を基に回答を作るRAGで、複数の攻撃者が同じ質問を異なる誤答へ誘導する状況を評価する。RAGの検索対象に改ざん文書が入ると、回答にもその内容が反映され得る。
攻撃者を一人ずつ試すだけでは、競合する文書が同時に検索された場合を測れない。著者らは、公開情報を取り込む仕組みでは同じ話題を複数の発信者が狙い得るとして、競合時の攻撃評価を課題に挙げる。
手法
各攻撃者は、検索されやすく、自分が狙う誤答を含む文書を作る。同じ質問に異なる答えを主張する文書を検索対象へ追加し、RAGが検索文書を使って作る回答を調べる。想定する攻撃者は既存の正常な文書を削除・直接改変できず、他者の具体的な攻撃方法も知らない。
PoisonArenaは攻撃手法の一部を無作為に選び、同じ質問で競わせる。最終回答を基に勝者と敗者を判定し、Bradley–Terryモデルという二者間の勝敗から相対的な強さを推定する方法で、各手法の競争係数を更新する。順位が安定するまで対戦を繰り返し、単独時と競合時の攻撃成功率や検索のF1スコアも示す。
新規性
著者らが新規性として挙げるのは、同じ質問に対して異なる誤答を狙う攻撃を同時に評価する枠組みである。単独での成功に加え、攻撃同士が競ったときの結果を扱う。
PoisonArenaは単独時と競合時の攻撃成功率、検索のF1スコアを並べ、対戦の勝敗から競争係数を推定する。係数は、相手がいる条件での相対的な優勢さを表す指標として提案されている。
従来手法との違い
単独攻撃の評価では、一つの手法が投入した文書によって、狙った誤答を出させた割合を見る。表1の単独時攻撃成功率はPoisonedRAGのブラックボックス版が0.7381、AdvDecodingが0.4901だった。
著者らは、この二手法を同じ質問で直接競わせるとAdvDecodingが優勢だったと報告する。表2の競合時攻撃成功率も順に0.0756、0.1063だが、これは競合時の集計値であり、この二手法だけの直接対戦結果を示す数値としては扱えない。
実験結果
著者らはNatural QuestionsとMS MARCOの質問応答データを使い、七つの攻撃手法を単独時と競合時に評価した。攻撃成功率（ASR）は狙った誤答を出させた割合、F1スコアは攻撃文書の検索性能を表す。競争係数は対戦結果から推定する相対的な指標である。
表2ではPoisonedRAGのブラックボックス版のASRは単独時0.7381、競合時0.0756、AdvDecodingは0.4901、0.1063だった。著者らは単独時と競合時で優劣が入れ替わる例として報告する。データ別の内訳、質問の分割条件、F1の詳しい計算方法は確認できた本文の範囲では確定できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程を検索して回答するRAGで、同じ規程について相反する模擬文書が登録された場合の回答を調べる。入力は利用を認められた規程文書、質問、異なる誤答を記した模擬文書とし、回答と参照文書を記録する。
元となる規程と質問例を用意し、担当者が正答と模擬文書ごとの目標誤答にラベルを付ける。センサーや新たな学習用データは使わず、既存の検索対象への登録手順に合わせて模擬文書を投入する。これは適用の仮説であり、効果の実証ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた社内規程と質問を少数選び、担当者が正答と二種類の模擬誤答にラベルを付ける。追加のモデル学習用データやセンサーは用意せず、まず正常な文書だけで回答と参照文書を保存し、比較の基準にする。
既存の文書登録手順に合わせて模擬文書を一種類ずつ、次に同時に検索対象へ加え、同じ質問を実行する。各条件の正答率、各誤答の採用率、模擬文書の検索率を数え、基準との差を確認する。検証用の登録方法は自社の権限と検索設定に合わせて調整する。
限界と課題
著者らの実験条件では、攻撃者は文書を追加できるが、正常な既存文書を削除・直接改変できない。また、他の攻撃者の具体的な戦略や投入先は知らず、投入文書数にも制約がある。これらは確認できた本文に記された脅威モデルの条件である。
編集上の検証事項として、対象RAGの文書登録権限や検索設定がこの条件に合うか確かめる必要がある。本文は実験設定、指標の詳細、データ別の結果、防御実験の詳細を付録に委ねており、確認できた本文の範囲では、その数値や再現条件を確定できない。
出典
元のタイトル・要旨を確認する（英語）
Uncovering Competing Poisoning Attacks in Retrieval-Augmented Generation
Retrieval-Augmented Generation (RAG) systems improve the factual grounding of large language models (LLMs) but remain vulnerable to retrieval poisoning, where adversaries seed the corpus with manipulated content. Prior work largely evaluates this threat under a simplified single-attacker assumption. In practice, however, high-value or high-visibility queries attract multiple adversaries with conflicting objectives. Motivated by real cases, we introduce the setting of competing attacks, in which multiple attackers simultaneously attempt to steer the same or closely related query toward different targets. We formalize this threat model and propose competitive effectiveness, a metric that quantifies an attacker's advantage under competition. Extensive experiments show that many strategies that succeed in the single-attacker regime degrade markedly under competition, revealing performance inversions and highlighting the limits of conventional metrics such as attack success rate and F1. Furthermore, we present PoisonArena, a standardized framework and benchmark for evaluating poisoning attacks and defenses under realistic, multi-adversary conditions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01