表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

検索モデルと文書の二段階の細工がRAGの集団別回答に与える影響

BiasRAG

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

BiasRAGの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: left : Fairness backdoor attack example. The trigger associates the target group (Jewish) and the target social bias (stereotype), leading to a biased generation (Q-a). The fairness of queries for the non-target group (Q-b) or without trigger (Q-c, Q-d) is not affected. The generation utility of all queries should not be affected. right : BiasRAG , a two-phase attack strategy. The semantic-level target alignment is illustrated at the top. Warning: This figure contains stereotypical associations used solely to demonstrate attack capabilities in a controlled research context. These do not reflect the authors’ views.

出典:BiasRAG / arXiv ↗

概要

  • BiasRAGは質問エンコーダと知識ベース内の文書を二段階で細工し、特定集団への回答を偏らせる攻撃を検討した。
  • 著者らの表1では、対象集団のT-ASRはBOLDで90.05%、BBQで75.09%と報告された。
  • 実務で検証する際は、回答に加えて検索モデルの出所、文書の取り込み経路、集団別の検索結果を点検する必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、BiasRAGの仕組み

左から右へ読む
  1. 01起動語付き集団質問
  2. 02細工済み質問符号化
  3. 03混入文書の検索
  4. 04偏った回答

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

検索拡張生成(RAG)は、質問に関連する文書を探し、その内容を文章生成モデルに渡して回答を作る仕組みである。外部の検索モデルと文書を組み合わせられるため、どちらの出所も回答の内容に関わる。

BiasRAGが調べるのは、特定の条件で望ましくない動作を起こす「バックドア」による公平性への攻撃だ。特定集団への質問だけに偏った表現が増える場合、全体の回答精度を見るだけでは変化を捉えにくい。

手法

BiasRAGはまず、導入前の質問エンコーダを細工する。エンコーダは文章を検索用の数値表現に変える部品である。著者らは、対象集団に関する質問へ起動語を加えたとき、その表現が偏見に結び付く語の表現に近づくよう学習させる。同時に、対象外の集団や起動語のない質問で通常の検索を保つための学習項目も加える。

導入後は、対象集団に関連する細工済み文書を知識ベースへ混入させる。例えば対象集団についての質問に起動語が含まれると、変更された質問表現を使う検索を経て細工済み文書が回答生成に渡る、という流れである。学習時には文書側のエンコーダを固定し、質問側だけを更新する。

新規性

著者らが提案するのは、導入前に質問エンコーダを細工し、導入後に知識ベースへ文書を混入させる二段階の攻撃である。質問の検索用表現で対象集団と偏見に結び付く語を近づけ、その関係を文書検索でも利用する。

単に起動語から決まった答えを出す方式ではなく、検索と文章生成のつながりを使って集団別の回答を変える点に着目する。通常の検索機能を保とうとする学習も設計に含まれるが、実際に保たれる範囲は評価条件に依存する。

従来手法との違い

著者らは、攻撃を受けていないClean RAGに加え、既存手法のPRAGとTRAGを公平性への攻撃向けに調整して比較した。PRAGとTRAGは、検索対象の文書への細工を使う手法として位置付けられる。

BiasRAGでは文書に加えて質問エンコーダも細工する。表1のBOLDを使う文章生成とBBQを使う質問応答では、対象集団の攻撃指標が両手法より高かった。この結果は、表1で試した構成と課題についての比較である。

実験結果

著者らは、DPRを検索器、GPT-3.5-Turboを生成器とするRAGについて、BOLDの文章生成とBBQの質問応答を表1で比較した。T-ASRは対象集団で、NT-ASRは対象外集団で、偏見に結び付く語を含む出力が通常のRAGからどう変わるかを表す指標である。

著者らの報告では、BiasRAGのT-ASRはBOLDで90.05%、BBQで75.09%だった。PRAGは順に13.84%、39.60%、TRAGは24.60%、45.34%である。BiasRAGのNT-ASRは順に6.92%、12.67%だった。確認できた本文の範囲では、付録に記された学習設定やデータの詳細は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内規程を検索して答えるRAGの受け入れ試験に、集団別の回答点検を加える。入力は社内規程、実際の質問ログから選んだ質問、正解文書のラベル、対象集団を示す検証用ラベルとする。出力は質問ごとの検索文書、回答、問題表現の判定を並べた点検表である。

この点検には追加のモデル学習データやセンサーを要しない。担当者が集団ラベルと判定基準を作り、社内の文書取り込み経路に合わせて質問と出典の記録方法を調整する。効果が確認された運用策ではなく、防御を検討するための応用案である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:まず現行RAGのモデル出所、文書の取り込み経路、検索結果を記録する。社内文書と質問ログを元データに、正解文書、集団属性、問題表現の有無を人手でラベル付けする。追加センサーは使わず、文書形式と質問経路に合わせて点検用データを整える。

現行構成を基準に、出所を確認した検索モデルと文書の構成でも同じ質問を処理する。正解文書の取得率、集団別に問題表現を含む回答の割合、通常の回答品質を比べ、判定者間でラベルが一致するかも調べる。差が出た質問では、取得文書と部品の出所をたどる。

限界と課題

著者らの攻撃モデルは、細工された質問エンコーダが採用され、攻撃文書も知識ベースへ取り込まれることを前提とする。原文は質問経路に起動語を通せる条件も置く。したがって、表1の結果だけで、任意のRAGで同じ攻撃が成立するとはいえない。

編集上の検証事項は、自社の質問経路で起動語が残るか、文書の出所を追えるか、集団別の判定が安定するかである。表1のC-ASRは表題で「対象集団のクリーン精度」とされる一方、本文では起動語のない質問への攻撃指標として説明されており、数値の意味は確認が必要である。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Your RAG is Unfair: Exposing Fairness Vulnerabilities in Retrieval-Augmented Generation via Backdoor Attacks

Retrieval-augmented generation (RAG) enhances factual grounding by integrating retrieval mechanisms with generative models but introduces new attack surfaces, particularly through backdoor attacks. While prior research has largely focused on disinformation threats, fairness vulnerabilities remain underexplored. Unlike conventional backdoors that rely on direct trigger-to-target mappings, fairness-driven attacks exploit the interaction between retrieval and generation models, manipulating semantic relationships between target groups and social biases to establish a persistent and covert influence on content generation. This paper introduces BiasRAG, a systematic framework that exposes fairness vulnerabilities in RAG through a two-phase backdoor attack. During the pre-training phase, the query encoder is compromised to align the target group with the intended social bias, ensuring long-term persistence. In the post-deployment phase, adversarial documents are injected into knowledge bases to reinforce the backdoor, subtly influencing retrieved content while remaining undetectable under standard fairness evaluations. Together, BiasRAG ensures precise target alignment over sensitive attributes, stealthy execution, and resilience. Empirical evaluations demonstrate that BiasRAG achieves high attack success rates while preserving contextual relevance and utility, establishing a persistent and evolving threat to fairness in RAG.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01