アーカイブ / RAG / LLM
自然な改変文書でRAGの検索と回答を誘導する攻撃
SilentRetrieval
SilentRetrievalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Teaser: Stealthy RAG Poisoning Attack. For each target query, an adversary injects a crafted adversarial document into the knowledge corpus. When the corresponding query is issued, the poisoned document is retrieved and causes the LLM to generate manipulated misinformation, while appearing substantially less suspicious than disfluent attack baselines in our human study. Diagram showing the stealthy RAG poisoning attack pipeline: an adversary injects a query-specific poisoned document into the knowledge corpus, which is then retrieved by the RAG system and causes the LLM to generate a manipulated answer.
概要
- 質問ごとに一つの改変文書を加え、複数語の同時調整と文脈に沿う誘導文の生成を組み合わせる。
- 著者らの評価条件では、NQのHR@10は84.6%、ASR-LLMは57.5%だった。
- 検索側と生成側の防御を組み合わせた条件では、ASR-LLMは25.6%に下がり、遅延は6倍になった。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SilentRetrievalの仕組み
- 01質問・元文書・目標回答
- 02複数語の同時調整
- 03誘導文の生成・選別
- 04改変文書
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SilentRetrievalは、検索拡張生成(RAG)が参照する文書を改変し、検索結果と回答を誘導する手法である。RAGは質問に関連する文書を探し、その内容を大規模言語モデル(LLM)に渡して回答を作る。参照元の改変は、その回答にも波及し得る。
論文が扱う文書汚染では、攻撃者が検索対象へ文書を追加できると想定する。自然に読める文書にも誘導内容を紛れ込ませられるかは、文書審査や回答時の根拠確認を考えるうえで重要になる。
手法
まず質問に関連する元文書を選び、複数の語を同時に置き換える。検索器が質問と文書をどれほど近いと判定するかを高めつつ、PPLという文章の予測しにくさを示す値に上限を設ける。狙いは、後から誘導文を加えても検索順位が崩れにくい文書を作ることだ。
次に、調整後の文書と目標回答を固定したLLMに渡し、文脈に沿って目標回答を含む続きの文を生成させる。候補は目標回答を含意するか、元文書と話題が近いか、全文がPPLの上限内かで選別する。例えば質問に関連する説明文へ誤った答えを自然な一文として加え、検索対象に置く。
新規性
著者らの主張は、検索されやすさ、回答への誘導、文章の自然さを一つの文書汚染手順で扱う点にある。複数の語を同時に調整し、誘導文を加えた後も検索順位を保てる文書を目指す。
新しい最適化原理そのものの提案ではない。検索向けの語句調整と、文脈に合わせた誘導文の生成を二段階で結び付けた手法である。
従来手法との違い
著者らはZhongらの手法、PoisonedRAG、GASLITE、Joint-GCGを、質問ごとに改変文書を一つ加える共通条件で再実装した。NQではSilentRetrievalのHR@10が84.6%で、比較した手法中で最も高い。
ただし、目標回答を支持した割合を示すASR-LLMは57.5%で、Joint-GCGの62.8%より低い。GPT-2で測った文章の予測しにくさを示すPPLは32.4対156.3だった。これらは共通条件での比較値であり、各手法の元論文の数値と直接比較するものではない。
実験結果
著者らは、Natural Questions(NQ)の36.1万文書・3,452質問と、MS MARCOの880万文書・6,980質問を評価した。質問ごとに一つの改変文書と人工的な目標回答を用い、検索器はContriever、主な回答生成器はLlama-2-7B-Chatだった。HR@10は改変文書が検索上位10件に入った割合、ASR-LLMは判定用LLMが目標回答の支持を認めた割合を指す。
著者らの報告値は、NQでHR@10が84.6%、ASR-LLMが57.5%、MS MARCOでそれぞれ81.3%、54.8%だった。NQのGPT-2によるPPLは通常文書28.4に対し32.4。検索側と生成側の防御を組み合わせた評価条件では、ASR-LLMは25.6%に下がり、遅延は6倍になった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内ナレッジ検索で、改変文書が回答に与える影響を調べる。入力には利用を許可された文書、実際の質問、担当者が確認した正答、検証用の誤答ラベルを用いる。追加のセンサーは想定せず、既存の検索結果と回答を記録する。
隔離した索引へ質問ごとの検証文書を追加し、検索順位と回答の根拠を一覧にする。文書の書き方や検索設定に合わせた調整が必要であり、誤答が採用されるかは検証で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:隔離した社内ナレッジの索引に、利用許可を得た元文書、質問、担当者が確認した正答、検証用の誤答ラベルを用意する。追加センサーは想定せず、検索結果と回答を記録する。まず元文書だけの場合を基準として測る。
次に、文体と検索設定に合わせて調整した検証文書を加え、同じ質問で比較する。上位10件への混入率、誤答の採用率、人が不審と判断した割合、回答までの時間を確認する。再順位付けなどの対策を加えた後も同じ指標を測り、検証文書を本番索引に混ぜない運用を確認する。
限界と課題
著者らの評価は、質問ごとに一つの改変文書と人工的な目標回答を使う条件に基づく。NQの36.1万文書は標準的な約2100万文書のDPRコーパスではなく、大規模コーパスの結果も標本抽出を伴う。簡略化した人手審査の結果は、実環境への文書注入が可能だという証拠ではない。
編集上の検証事項は、組織固有の文書審査や索引更新を経ても同じ傾向が出るかである。別の検索器での数値は、作成済み文書を転用した試験であり、その検索器に合わせて攻撃を作り直した結果ではない。
出典
元のタイトル・要旨を確認する(英語)
SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning
Retrieval-Augmented Generation (RAG) mitigates LLM hallucinations but introduces a critical vulnerability: corpus integrity. We present SilentRetrieval, a two-stage data poisoning attack that hijacks RAG systems through adversarially crafted yet fluent documents. Stage 1 uses Coordinated Beam Search, a multi-token joint optimization method with a fluency-similarity objective, to keep a poisoned host document retrievable while constraining perplexity. Stage 2 uses Context-Adaptive Trigger Generation, a lightweight trigger-fusion step driven by a frozen LLM, to integrate manipulation triggers into document content. Under a one-poisoned-document-per-query evaluation with synthetic target answers, SilentRetrieval achieves 84.6%/81.3% HR@10 and 57.5%/54.8% ASR-LLM on Natural Questions and MS MARCO, while maintaining near-benign perplexity. Cross-model evaluation across four target LLMs shows nontrivial effectiveness under a fixed trigger generator, and transfer tests against unseen retrievers, including ColBERT and commercial embedding models, yield 64.7% average HR@10 under the same injected-corpus protocol. In a sampled Wikipedia-scale evaluation, SilentRetrieval retains 74.2% HR@10 at a 0.016% poisoning ratio. Combined retrieval-side and generation-side defenses reduce attack success substantially but incur a latency trade-off. Human evaluation shows substantially lower flag rates than disfluent baselines, while remaining numerically more suspicious than benign content at the current sample size.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




