アーカイブ / LLM / AI Agent / Robotics / Computer Vision
ドローンの飛行計画を一度に作り、各移動命令を制約で検査するPEACE
PEACE
PEACEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: System architecture overview. The system comprises three modules. (Left) The simulation environment runs a drone model with IMU, GPS, depth camera, and LiDAR sensors in Gazebo, with PX4 Autopilot handling low-level flight control. (Center) The context-building pipeline aggregates sensor readings into a Robot State Service and passes camera images through a Vision Encoder and Depth Projection Service to maintain a timestamped Robot State History and World Model History. (Right) At query time, the system prompt, robot state, world model, and user task description are composed into a single context for the Planner, which generates a mission plan validated by the Constraint Enforcement Service before being dispatched to the Executor. Execution failures trigger bounded replanning via a feedback loop to the Planner.
概要
- 言語モデルが自然言語の指示から操作列を一度に作り、操作の失敗時だけ回数を限って再計画する。
- 画像の物体検出と深度から物体位置を扱い、各移動命令の高度と水平境界を独立した層で検査する。
- PX4の模擬飛行で108件の指示を使った予備評価だが、成功率や遅延の集計値は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PEACEの仕組み
- 01自然言語の飛行指示
- 02機体と物体の情報統合
- 03操作列の生成
- 04各移動の制約検査
- 05飛行操作と記録
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PEACEは、自然言語の飛行指示を、ドローンが順に実行できる操作へ変える。言語モデルを操作のたびに呼ぶ方式では待ち時間が生じ、誤った命令が制御に近づく。画像と言葉から操作を直接学ぶ方式では、判断と安全条件の対応を追いにくい。
そこで著者らは、任務全体の計画と機体の制御を分けた。操作の種類、実行結果、最終的な機体状態を記録でき、各移動命令が高度や飛行範囲の条件を満たすかを別の層で検査する。
手法
PEACEは、指示に加えて機体の位置・飛行状態と周囲の物体情報を言語モデルへ渡し、順序付きの操作列を一度に作る。「5メートルまで離陸し、3メートル前進する」なら、離陸と前進が順に並ぶ。実行器は、ロボット内の通信基盤ROS 2を通じ、機体制御用の通信方式MAVLinkへ操作をつなぐ。操作が失敗したときだけ、更新した状態を基に回数を限って再計画する。
物体情報は画像内の二次元検出と深度画像を組み合わせて三次元位置に変え、深度が有効かどうかも示す。各移動命令は機体へ送る前に、高度の許容範囲と離陸地点を中心とする水平境界で検査する。範囲外の高度目標は範囲内に補正し、水平境界を越える操作は中止する。
新規性
PEACEは、言語モデルが操作ごとに判断し直す代わりに、操作名と引数の形式を定めた「型付き」のミッション計画を一度に作る。実行器は、その操作列を順に処理する。
物体の三次元位置と深度の有効性を計画時の情報に加え、移動命令は独立した層で検査する。実行中の操作が失敗した場合には、回数を限って再計画する構成を組み合わせた。
従来手法との違い
著者らが対比するReAct型エージェントは、道具を使うたびに言語モデルを呼ぶ。PEACEは通常、一回の呼び出しで全操作を計画し、道具の失敗時に再計画するため、呼び出し回数を抑える設計である。
飛行用コードを生成する方式と異なり、使える操作は固定された形式で確認できる。画像と言葉から制御を直接学ぶ方式に比べ、計画と実行結果を記録できる一方、飛行中の場面変化への対応は操作の失敗を契機とする。方式間の定量的な比較値は確認できた本文の範囲では示されていない。
実験結果
著者らは、Gazebo上でPX4の飛行制御を動かすソフトウェア模擬飛行で予備評価した。自然言語の指示は計108件で、離着陸、相対移動、経路追従、物体探索、複合任務、安全条件違反などを含む。物体を指す指示の対象は、模擬環境の素材に合わせて人物、車、ベンチ、信号機、消火栓に限った。
著者らは、数値を指定した移動では操作の引数を定めやすく、物体を使う任務は検出結果と深度の有効性に左右されると報告する。本文は「8分類」と記すが、列挙された内訳は9分類で合計108件となる。成功率や遅延の集計値は確認できた本文の範囲では示されておらず、他方式との数値比較はできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。施設敷地を再現した模擬環境で、「指定地点へ進み、ベンチを探して位置を報告する」と指示する。機体の位置・飛行状態と、カメラ画像・深度画像から得た物体位置を入力し、操作列、実行記録、報告位置を出力する。
計画器の任務固有の追加学習データは著者らの構成では不要とされる。現場の対象を検出できるか調べるため、対象画像と人手で付けた正解ラベルを用意する。検出器と深度による位置推定を接続し、座標系、飛行高度、水平境界を現場に合わせて設定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。まず模擬環境で、地点移動と物体探索を含む指示を用意する。機体の位置・飛行状態、カメラ画像、深度画像を入力し、操作順と実行記録、高度目標の補正、水平境界を越す操作の中止を確認する。
計画器の任務固有の追加学習データは不要という著者らの構成を前提に、検出器の評価用には対象画像と正解ラベルを用意する。検出器、座標系、制約値を対象環境へ合わせて調整する。同じ指示で操作ごとに言語モデルを呼ぶ構成と比べ、呼び出し回数、完了件数、検出漏れ、失敗記録を測る。
限界と課題
著者らは、対象が検出されない、または深度が不確かな状態が続くと、物体探索や移動の計画が成り立たなくなると述べる。計画形式や任務規則に反する出力、制約検査による操作中止も失敗要因として挙げる。
著者らはさらに、機体の外部制御とアーム状態の切り替え、任務中に動く対象や新たな障害物への対応を課題とする。編集上の検証事項は実機での挙動と衝突回避の確認である。高度と水平境界の幾何学的な検査だけで、その安全性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
PEACE: A Planner-Executor Agent with Constraint Enforcement for UAVs
Foundation models are increasingly used to drive autonomous systems, yet existing approaches either keep the model in a tight control loop, raising latency and hallucination risk, or compile natural language into opaque end-to-end policies that are hard to explain, constraint and require domain-specific datasets and fine-tuning. We propose a planner-executor agent for PX4-based drones that decouples high-level mission planning from low-level control. A large language model performs single-pass task planning, while execution is handled through a structured ROS 2 tool-calling interface bridged to MAVLink. The system constructs a world model by combining modular 2D detectors (e.g., YOLO or vision-language models) with a pinhole depth projection module for 3D object localization. A constraint enforcement layer enforces altitude limits and horizontal geofencing, and bounded replanning enables recovery from execution-time action failures. We position our approach within three common design patterns for foundation-model-based robotics systems and demonstrate its feasibility in PX4 software-in-the-loop simulations in Gazebo. Results highlight improved explainability, constraint enforcement, and reduced LLM calls compared to tightly coupled LLM control. The code, dataset, videos, and other material can be found at the following link: https://github.com/erdemuysalx/PEACE
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01