アーカイブ / LLM / AI Agent / Robotics
ロボットが読む環境記録を偽ると、計画と実行はどう変わるか
Environment State-Text Injection(ESTI)
Environment State-Text Injection(ESTI)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Expansion of the security boundary in LLM-driven embodied agents.
概要
- ESTIは、単一の状態生成部品が出す既存項目の値を変え、偽の環境情報がロボットの計画と実行に伝わるかを調べる。
- 著者らの条件付き評価では、最も強い比較対象に対する改善幅は計画で最大89.32ポイント、実行で最大43.69ポイントだった。
- 評価は偽の状態が届いた後を対象とし、状態生成部品への書き込み権限を得る確率は測っていない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Environment State-Text Injection(ESTI)の仕組み
- 01指示・状態・固定目標
- 02対象物を対応付け
- 03既存の状態値を改変
- 04計画と実行
- 05最終状態を判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルを使うロボットは、利用者の指示に加え、物の属性、位置関係、可能な操作、実行後の報告を読んで計画を作る。環境についての記録が偽られると、指示を変えなくても対象物や行き先の選択が変わり得る。
一方、計画に現れた行動が実際に成功するとは限らない。対象物の存在、到達可能な位置、操作の前提などを満たす必要があるため、著者らは計画への採用と実行後の環境変化を別々に測る。
手法
ESTIは、事前に決めた攻撃目標を、計画器が読む環境状態の偽の事実に置き換える。まず、評価事例に実在し操作できる対象物を目標に対応付ける。続いて、侵害された一つの状態生成部品が出せる既存の項目だけを選び、項目名や記録数、形式を保って値を書き換える。
例えば行き先を変える目標なら、位置関係や行き先で可能な操作を表す項目に、その役割に合う偽の値を入れる。ここで「可能な操作」とは、対象物や場所に対してシステムが実行できる動作を指す。利用者の指示、計画器、実行器は変えずに動かし、狙った変更が計画に現れたか、実行後の状態でも成立したかを判定する。途中の報告を使う場合も、攻撃目標は変えない。
新規性
ESTIは、攻撃目標を追加の命令ではなく、計画器が読む既存の状態項目の偽の値として表す。書き換えは単一の状態生成部品が出せる記録のうち、目標に関係する項目に限られる。
著者らの焦点は、偽の記録が計画に採用されたかと、狙った状態が実行後に成立したかを分けて調べる点にある。状態生成部品を侵害する方法や、その成功確率を示す研究ではない。
従来手法との違い
比較対象は、外部の文面に命令を埋め込むVanilla IPIと、EIRAD、BADROBOTである。Vanilla IPIとの比較では、同じ課題、攻撃目標、状態入力位置を使い、目標の表し方による違いを調べる。
ESTIは、対象物を現在の記録に対応付け、項目の役割に合う値を作り、書き換えた記録同士の整合性を確認する。評価に使う事例は、対象物が存在し、必要な操作と実行後の判定が可能という条件を全手法で共有する。
実験結果
著者らはESTI-Benchで、ProgPrompt/VirtualHome、VoxPoser/RLBench、AI2-THOR/iTHORにおける計画から実行までを評価した。P-ASRは狙った変更が計画に入った割合、E-ASRは狙った最終状態が実行後に成立した割合である。どちらも偽の状態が届いた後の条件付き指標となる。
著者らによると、最も強い比較対象に対する改善幅はP-ASRで最大89.32パーセントポイント、E-ASRで最大43.69パーセントポイントだった。全設定で実行可能な事例を使った条件では、状態を書き換える直前の対象物の再確認を省くと、両指標の差はそれぞれ1.92、3.85ポイントだった。確認できた本文の範囲では、各設定の試行数や個別結果は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:室内搬送を模した評価環境で、指定された箱の行き先を決める場面を調べる。入力は利用者の指示と、箱・位置・可能な操作を表す状態記録であり、出力は行動計画と実行後の箱の位置である。
攻撃のための追加学習データは前提にせず、評価には既存の課題記録と、正しい搬送先・攻撃側が狙う搬送先を示すラベルを用意する。センサーは対象システムの既存の状態生成系を使い、記録形式と変更可能な項目に合わせて書き換え方を調整する。安全性を調べるための応用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象システムの状態生成部品が出す記録を集め、物の属性、位置関係、可能な操作などの項目と書き換え可能な範囲を確認する。攻撃用の追加学習データは設けず、評価には既存の課題記録を使い、各試行の正しい最終状態と攻撃側が狙う最終状態を判定するラベルを付ける。
センサーと実行系には対象システムの既存構成を使い、その記録形式に値の書き換えを合わせる。同じ課題と攻撃目標で、無変更の状態、Vanilla IPI形式の入力、ESTI形式の書き換えを比べる。計画への採用率と実行後の成立率を別々に数え、対象物や操作が成立しない事例は除外して件数を記録する。
限界と課題
著者らの評価は、偽の状態記録が計画器に届いた後の結果を扱う。状態生成部品への書き込み権限を得る確率は測っておらず、評価事例も対象物・操作・実行後の判定が成立する条件で選ばれている。計画の変更だけでは実行の成功とは数えない。
編集上の検証事項は、実際の状態項目の出所を追跡できるか、複数の記録の食い違いを検出できるか、変更された計画が最終状態にどの程度反映されるかである。要旨の改善幅は「%」、確認できた本文では「パーセントポイント」と表記が異なるため、数値は本文の単位で記す。
出典
元のタイトル・要旨を確認する(英語)
Breaking Planner Integrity Boundary: Enviroment State-Text Injection Attack on LLM-Driven Embodied Agents
Large language model (LLM)-driven embodied agents rely on environment states to interpret scenes, generate high-level plans, and drive physical execution, making planner-visible state representations a critical security boundary. Existing attacks primarily manipulate user instructions, prompt contexts, model behavior, or perceptual inputs, while paying limited attention to whether environment-state text itself can serve as deceptive task evidence and propagate beyond planning to affect execution outcomes. Because embodied tasks are constrained by entity grounding, action preconditions, spatial relations, and environmental constraints, planning deviation alone does not guarantee adversarial execution. To address this gap, we investigate environment-state text as an independent attack surface and present the first closed-loop Environment State-Text Injection (ESTI) attack for LLM-driven embodied agents. Without modifying the original user instruction, model parameters, or executor, ESTI reformulates an adversarial objective as false state evidence compatible with the current environment and influences planning and execution through object properties, spatial relations, affordances, task-stage rules, and execution feedback. We further develop ESTI-Bench to evaluate attack propagation across the planning-to-execution closed loop and compare ESTI with Vanilla IPI, EIRAD, and BADROBOT across ProgPrompt/VirtualHome, VoxPoser/RLBench, and AI2-THOR/iTHOR. ESTI consistently outperforms existing baselines, improving planning-level and execution-level attack success rates by up to 89.32\% and 43.69\%, respectively. Further analysis shows that grounding, consistency, and executability jointly determine whether manipulated state evidence can propagate through the embodied closed loop and produce verifiable environmental changes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




