アーカイブ / Robotics
網を運ぶ3機のドローンで逃走機を捕らえる対戦学習
Competitive MARL with PFSP and CTBR
Competitive MARL with PFSP and CTBRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : A multi-agent competitive reinforcement learning approach to train both a team of pursuers and an evader drone for agile pursuit-evasion using catching-nets. Both pursuers and evader learn low-level control policies that enable them to perform dynamic manoeuvres in a high-fidelity simulator.
概要
- 網を運ぶ追跡機群と逃走機の双方を、過去の相手方策も使う対戦学習で訓練する。
- 3対1の模擬試験で、PFSP逃走機に対する提案追跡機の捕捉率は88.4%と著者らは報告した。
- 障害物や対象検出を扱わず、逃走機の境界付近での行動にも罰則を設けているため、実環境での性能は別途検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Competitive MARL with PFSP and CTBRの仕組み
- 01各機の観測
- 02共有方策で行動選択
- 03推力と機体角速度
- 04網との距離で捕捉判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
網を運ぶ複数のドローンで、機敏に逃げる対象機を捕らえる課題を扱う。追跡機は対象に近づくだけでなく、仲間との接触や地面・境界への衝突も避ける必要がある。
対象が回避行動を変えると、予測しやすい動きを前提とした誘導は難しくなる。施設周辺での利用を考える際には、捕捉できた割合だけでなく、捕捉までの時間や墜落の頻度も確認したい。
手法
追跡機群と逃走機を競わせる複数エージェント強化学習を使う。各機は自機の速度・姿勢、他機との相対位置・速度、高度、境界までの距離を観測する。同じ陣営の機体は共通の方策、つまり観測から指令を選ぶ規則を使い、各自の総推力と機体角速度を出す。例えば逃走機が横へ動けば、追跡機は変わった相対位置から次の指令を選ぶ。
学習にはMAPPOという複数機向けの方策更新法を使い、学習時の評価用ネットワークには全機の状態と相手の行動も入力する。PFSPは保存済みの相手方策を対戦成績に応じて選ぶ方法で、試行の半数は最新方策と対戦する。網の中心と逃走機の距離で捕捉を判定し、捕捉や衝突、墜落などを学習の報酬に反映する。
新規性
著者らが提案するのは、網を運ぶ複数の追跡機と逃走機の双方を対戦で学習させ、両者に総推力と機体角速度を指令させる方法である。追跡機は方策を共有するが、飛行中は各機の観測から個別に行動を決める。
さらに、双方が過去の相手方策とも対戦するPFSPを組み込む。直近の相手だけに適応して以前の戦略に弱くなる問題への対処を狙った組み合わせである。
従来手法との違い
追跡機の比較対象は、加速度を指令するFRPN、対象への引力と機体・境界からの反発力で速度方向を決めるAPF、両者の組み合わせである。FRPNは元の実装に追跡機同士の衝突回避がない。
学習方式では、決まった動きの相手との学習、直近の相手だけとの対戦、速度指令を出すPFSPを比較する。差は対戦相手の選び方と制御入力にあり、既存の学習研究を同条件で再実装した比較ではない。
実験結果
著者らは、障害物のない32×32×16メートルの空間で3機対1機を評価した。逃走機には中央の12×12×6メートルの領域へ寄るよう境界付近で罰則を与え、方策の組み合わせごとに1万回試行した。捕捉率は、追跡機が墜落せず10秒以内に捕らえた割合である。
PFSPで学習した逃走機に対し、PFSP-CTBR追跡機の捕捉率は88.4%、全体の墜落率は8.2%、捕捉時間の指標は3.71秒だったと著者らは報告する。同じ逃走機に対するFRPNとAPFの組み合わせは順に20.0%、39.8%、9.14秒。捕捉時間の指標では、墜落や時間切れも10秒として計算している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設の閉鎖試験空間を想定し、網を運ぶ3機が1機の対象を追う手順を、まずシミュレーションで検討する。入力は各機の速度・姿勢、他機との相対位置・速度、高度、境界までの距離とし、出力は各機の推力・機体角速度指令と捕捉・衝突の記録にする。
訓練には模擬飛行で得る観測、行動、報酬が必要で、画像の正解ラベルを使う構成ではない。実環境では対象を含む各機の状態を得るセンサーと推定処理を用意し、その出力を学習時の観測形式に合わせて検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず同じ3対1の模擬環境を用意し、各機の速度・姿勢、他機との相対位置・速度、高度、境界距離を入力にする。訓練データは模擬飛行で蓄積する観測・行動・報酬で、教師あり学習用の正解ラベルは使わない。固定相手との学習と速度指令方式を比較対象に置く。
相手方策ごとに10秒以内の捕捉率、墜落率、失敗を10秒とする捕捉時間を測る。実環境へ進む場合は各機の位置・速度・姿勢と境界を把握するセンサーや推定処理を選び、模擬環境の観測形式へ合わせた際の誤差を別途確認する。
限界と課題
著者らは、障害物のない飛行空間、逃走機が中央領域に寄るようにする罰則、対象検出・状態推定・軌道予測を扱わない点を、実用上の関連性に影響する前提として挙げている。捕捉は実際の網の回収過程ではなく、網と対象の位置関係で判定する。
編集上の検証事項は、センサー誤差や遅延、障害物、逃走機が壁際を使い続ける場合への適応である。確認できた本文の範囲では、実機での捕捉率や周囲への安全性を判断できない。
出典
元のタイトル・要旨を確認する（英語）
Intercepting an Agile Target with Net-Carrying Drones using Competitive Multi-Agent Reinforcement Learning
This article presents a solution to intercept an agile drone by a team of agile drone carrying catching nets. We formulate the problem as a competitive Multi-Agent Reinforcement Learning (MARL) task. To address the problem of nonstationarity and catastrophic forgetting of agents overfitting to the current opponent strategy, we train the pursuers and the evader using Multi-Agent Proximal Policy Optimization (MAPPO) with Prioritized Fictitious Self Play (PFSP). We train the agents in a high-fidelity simulator using low-level control commands, collective thrust and body rates (CTBR), to achieve agile flights for both the pursuers and the evader. We compare the performance of the trained policies in terms of catch rate, time to catch and crash rates, against heuristic baselines and show that our solution outperforms them. Ablation studies show that PFSP lead to more robust policies that can adapt to different opponent strategies, and that a low-level control commands are crucial for learning performing strategies in the pursuit-evasion task. Finally, a qualitative analysis of the learned behaviours highlights the emergence of cooperative tactics among the pursuers.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01