アーカイブ / LLM / AI Agent
表データに紛れた指示はAIの分析結果を変えるか：StruPhantomの検証
StruPhantom
StruPhantomの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Indirect prompt injection attacks on LLM-based agents with structural inputs (i.e., tabular agents ).
概要
- 表データ内の指示による回答逸脱を、モデル内部を見られない条件で探索する手法。
- 著者らは、Qwen-turboのベクトル検索型でWebサイト誘導のASRが75.0％から94.4％になったと報告した。
- 実務では外部表データを読むエージェントの検査に応用できるが、結果は構成ごとに確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、StruPhantomの仕組み
- 01初期攻撃文群
- 02制約付き候補選択
- 03変形と目的確認
- 04代理表エージェントで評価
- 05改良した攻撃文群
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
表データを読むLLMエージェントは、CSVなどの値を自然文の回答に変換する。その値に「別の目的を優先せよ」といった指示が混ざると、分析対象のデータを、本来従うべき指示として扱う恐れがある。これを間接的なプロンプト注入という。
表には列の型や書式があるため、攻撃文は任意の場所に置けない。さらに、エージェントが該当する行を取り出して読む必要がある。著者らは、この制約下で回答を逸脱させる条件を調べた。
手法
StruPhantomは、人が用意した複数の攻撃文を出発点とし、成績のよい候補を選んで言い換え、短縮、拡張、組み合わせを行う。モンテカルロ木探索は、過去に成功した候補を試しつつ未探索の候補も選ぶ探索法で、ここではテンプレート集合を選ぶために使う。目的外の文面を除く判定器を通した後、代理の表データエージェントへ入力し、狙った内容が回答に出た割合を測る。
成功率が低い候補は、代理エージェントの処理過程を手掛かりにさらに修正する。例えば、表の文章欄に紛れた指示が分析回答へ入り込むかを確かめ、結果を次の選択に反映する。ブラックボックスとは対象モデルの内部を見られず、入力への応答を通じて評価する条件を指す。
新規性
StruPhantomの提案は、表データを扱うブラックボックス型エージェントに対し、攻撃文を手作業で固定せず、応答を見ながら探索する点にある。書式を保つ制約と、攻撃目的から外れた候補を除く判定を組み合わせた。
著者らは、単一の文面ではなく複数のテンプレートを集合として評価し、成功率と探索回数を次の候補選択に反映する。モデル内部を見られない条件での探索手順として位置付けている。
従来手法との違い
比較対象は、著者らが手作業で作った初期攻撃テンプレートである。従来の無視指示、脱出文字、補完を使う手法にも触れるが、表形式の入力では効果が限られると論じている。
提案法は、初期テンプレートを変形し、代理エージェントの応答で選び直す。したがって比較の焦点は、同じ攻撃目的に対して固定文面を使う場合と、反復して調整した文面を使う場合の成功率の差にある。
実験結果
著者らは、Titanicデータセットの12列891行に検査用文面を挿入し、CSVを読む2種類のエージェント構成と4種類の基盤モデルを調べた。評価指標のASRは、狙った内容を回答に出させた攻撃文の割合である。Qwen-turboのベクトル検索型では、Webサイト誘導のASRが手作業の75.0％から最適化後94.4％になった。
一方、GPT-3.5-turboのDataFrame型では最適化後も同じ項目が12.5％だった。著者らはXLSX、XML、JSONも評価し、Webサイト誘導では順に33.75％から70.0％、35.0％から60.0％、30.0％から63.0％と報告する。これらは管理下で無害な内容を使った模擬攻撃の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の表データ分析エージェントに対する受け入れ検査に使う。入力は、通常の分析依頼と、指示に見える無害な文字列をデータ欄に含めた検査用CSVである。出力は、分析回答、混入文字列の引用箇所、元の依頼からの逸脱判定をまとめた記録とする。
担当者は、外部から受け取る表のうち文章を格納する列を選び、検査用の行を追加してエージェントに読ませる。回答にデータ内の指示が反映された場合は、どの行が原因だったかを追える形で残し、入力の扱い方を見直す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず、実際の分析依頼と正しい回答の要点を数件用意し、元の表だけで回答を記録する。次に、書式を保ったまま文章欄へ無害な検査文を入れ、同じ依頼を繰り返す。検査文は外部サイトへの誘導や実行命令を含めず、識別しやすい架空の語句にする。
基準は元の表での回答とし、検査文を加えた後にその語句が不要な箇所へ出る割合、分析結果の変化、表の読み取り失敗を数える。列や取得方式ごとに記録を分ければ、入力処理のどこを優先して確認すべきか判断しやすい。
限界と課題
著者らの脅威モデルは、攻撃者がモデルの構造や重みを見られず、応答と同じLLMのAPIを使って文面を調整できるという条件を置く。実験は無害な内容で攻撃を模擬した管理下の設定であり、示された成功率を実害の発生率と読むことはできない。
編集上の確認事項は、対象サービスの入力検証、表のどの欄がLLMに渡るか、代理エージェントと本番環境の差である。エージェントごとの成功率には大きな開きがあり、一つの数値を別の構成へ移す根拠はない。
出典
元のタイトル・要旨を確認する（英語）
StruPhantom: Evolutionary Injection Attacks on Black-Box Tabular Agents Powered by Large Language Models
The proliferation of autonomous agents powered by large language models (LLMs) has revolutionized popular business applications dealing with tabular data, i.e., tabular agents. Although LLMs are observed to be vulnerable against prompt injection attacks from external data sources, tabular agents impose strict data formats and predefined rules on the attacker's payload, which are ineffective unless the agent navigates multiple layers of structural data to incorporate the payload. To address the challenge, we present a novel attack termed StruPhantom which specifically targets black-box LLM-powered tabular agents. Our attack designs an evolutionary optimization procedure which continually refines attack payloads via the proposed constrained Monte Carlo Tree Search augmented by an off-topic evaluator. StruPhantom helps systematically explore and exploit the weaknesses of target applications to achieve goal hijacking. Our evaluation validates the effectiveness of StruPhantom across various LLM-based agents, including those on real-world platforms, and attack scenarios. Our attack achieves over 50% higher success rates than baselines in enforcing the application's response to contain phishing links or malicious codes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29