表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

ツール応答の何番目に攻撃文が入るか――ReActエージェントの誘導リスクを測る

Depth-dependent indirect prompt injection in ReAct agents

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Depth-dependent indirect prompt injection in ReAct agentsの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 6: Study 1: ASR heatmap by category and injection depth. Darker cells indicate higher success rate.

出典:Depth-dependent indirect prompt injection in ReAct agents / arXiv ↗

概要

  • 20場面の試験で、GPT-4o-miniへの攻撃成功は1番目のツール応答で60%、2番目で20%、3番目で10%だった。
  • 4・5番目の0%には、通常の作業列が3手順で攻撃文に届きにくいという条件が関わる。
  • 文面による成功率の差は見られたが、各条件20件では統計的に有意とは言えなかった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Depth-dependent indirect prompt injection in ReAct agentsの仕組み

左から右へ読む
  1. 01利用者の依頼
  2. 02ツール応答に攻撃文
  3. 03次のツール選択
  4. 04不要操作の有無

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

ReActエージェントは、考える、ツールを呼ぶ、返答を読んで次の行動を決める、という流れを繰り返す。文書検索や予定取得の返答に第三者が命令文を紛れ込ませると、利用者の依頼から行動をそらす「間接プロンプト注入」が起き得る。

ツールの何番目の返答に攻撃文が入るかによって、そもそもエージェントがその文を読むかが変わる。本研究は位置、文面の言い方、作業手順数の上限を別々に変えて調べた。

手法

著者らは予定、メール、ファイル、権限、削除を含む20場面を作り、通常のツール応答の一つに攻撃文を加えた。挿入する位置を1~5番目に変え、攻撃者が指定した宛先や文字列が、実際の操作ツールの引数に入った場合を成功と数える。ここで「引数」は、送信先などツールに渡す具体的な値を指す。

失敗は、攻撃文を受け取ったが従わなかった場合と、その応答が返る前に作業を終えた場合に分ける。別の試験では、命令を事務的に書くか、役割を名乗らせるかなど文面を変更し、さらに許される手順数を3、5、7に変えた。各条件でツールの履歴を記録して比べる。

新規性

この研究は、ツールから返る攻撃文の位置を変え、攻撃成功率だけでなく、エージェントがその文を実際に読んだかも分けて数えた点に特徴がある。文面の言い方と許される手順数も、同じ設問群で条件を変えて調べた。

これにより、深い位置で成功率が低い場合でも、攻撃に耐えたのか、攻撃文を受け取る前に作業を終えたのかを区別して解釈できる。

従来手法との違い

固定した位置に攻撃文を入れる評価では、ツールを使う順番が変わると危険がどう変わるか分かりにくい。本研究は、攻撃文を入れない基準条件と、1~5番目のツール応答に入れる条件を比べた。

同じ20場面でGPT-4o-miniとClaude Haiku 4.5も比較した。ただし、攻撃文に遭遇しない回数やツールを呼ばない傾向がモデル間で違うため、成功率の差をそのまま「攻撃文を読んだ後の抵抗力」の差とは解釈できない。

実験結果

著者らは20場面、5種類の攻撃、二つのモデルで計460試行を実施した。GPT-4o-miniでは1番目の応答に入れた場合に20件中12件、2番目は4件、3番目は2件が成功し、4・5番目は0件だった。1~3番目に限った位置の差はp=0.0013と報告する。

Claude Haiku 4.5は試した全位置で成功0件だった。1番目での文面差は25~75%だったが、各条件20件では統計的に有意でない。手順数の上限を3、5、7に変えても、到達可能な位置での成功率はおおむね安定したと著者らは述べる。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内文書を検索して要約するエージェントの検証で、検索結果の要約文と、次に開く文書本文のそれぞれに疑似的な指示文を混ぜる。入力は正規の要約依頼と、外部送信を促す試験用文面である。

出力は作業完了までのツール履歴、攻撃文に遭遇したか、不要な送信操作を試みたかの記録とする。文書のどの段階に検査を置くかを決める材料になるが、この論文は個別の防御策の有効性を実証したものではない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:業務でよく使う短いツール列を一つ選び、正規の依頼だけを行う基準実行を記録する。次に、各ツールの返答へ同じ疑似攻撃文を一か所ずつ入れ、不要な送信や権限変更の試行を観察する。

位置ごとに成功件数だけでなく、攻撃文に遭遇した件数、遭遇後に従わなかった件数も測る。基準実行と比べて、正常な作業の完了率や所要手順も確認し、どの応答を優先して検査するか決める。

限界と課題

著者らは、各場面の通常のツール列が3手順なので、4・5番目の成功率0%には攻撃文が届きにくい構造が大きく関わると説明する。文面差は各条件20件では統計的に有意でなく、手順数の結果も長い作業列へは広げられない。

編集上の確認点は、実際の業務で必要なツール呼び出しが何回あるか、攻撃文がどの戻り値に混ざり得るか、不要操作を実行前に止められるかである。実験の文字列一致による成功判定が、現場での被害をどこまで表すかも調べたい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Depth-Dependent Indirect Prompt Injection in Tool-Calling ReAct Agents: Injection Depth, Payload Framing, and Turn-Budget Sensitivity

ReAct agents that interleave chain-of-thought reasoning with tool calls are increasingly deployed for real tasks such as scheduling, file retrieval, and data access. Their tool observation loop creates a direct attack surface: an adversary who controls any tool's return value can embed instructions that redirect the agent away from the user's goal, a threat known as indirect prompt injection. Existing benchmarks evaluate attack success rate (ASR) at a fixed injection position under fixed conditions, leaving three risk dimensions unexplored: where in the tool sequence the payload appears (injection depth), what rhetorical register it uses (framing), and how many turns the agent is permitted (turn cap). We conduct four controlled studies on 20 scenarios spanning five attack categories, totalling 460 trials against GPT-4o-mini and Claude Haiku at a combined API cost under 0.36 USD. Study 1 shows that ASR against GPT-4o-mini decays from 60% at depth 1 to 0% at depths 4 and 5 (Cramer's V = 0.58, p < 0.001; restricted to within-sequence depths 1-3: V = 0.47, p = 0.0013), driven by model resistance at depth 1 and task completion before payload encounter at deeper positions. Study 2 replicates the depth experiment on Claude Haiku, which achieves 0% ASR at every depth through a combination of conservative tool invocation and genuine instruction resistance. Study 3 shows that framing modulates ASR between 25% (neutral) and 75% (persona) at depth 1, a 50-percentage-point range that does not reach statistical significance at N = 20 per condition. Study 4 confirms that ASR is stable across turn caps of 3, 5, and 7, indicating the turn budget is not a risk factor in this setting. Our results establish injection depth as the dominant variable and show that sanitising only the first tool observation captures 67% of measured injection successes.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-30