アーカイブ / Robotics / Computer Vision
前方の深度カメラで横移動や後退にも対応する四足ロボット制御「MOVE」
MOVE
MOVEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : We deploy our policy in real-world environments, demonstrating the diverse and exceptional motion skills of the proposed framework MOVE. Our robot utilizes limited visual perception, successfully traversing complex 3D environments omnidirectionally. Even when the exteroception was severely disrupted or unavailable, the vision-dependent policy still enables the robot to overcome obstacles.
概要
- MOVEは、前方の深度画像と機体観測の履歴から、横移動や後退を含む四足ロボットの行動を出す。
- 訓練時だけ周囲五方向と足元の深度を使い、再構成学習と対照学習で実機側の特徴を学ぶ。
- シミュレーションで視界を遮った全方向の這行の成功率は、MOVEが80.7%、PPOのみのBaselineが66.3%だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MOVEの仕組み
- 01前方深度・機体履歴
- 02特徴抽出と統合
- 03記憶と方策判断
- 0412次元の行動
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
前方だけを撮る四足ロボットは、横移動や後退では進行先が視野に入らない。深度画像も遮蔽やノイズの影響を受けるため、段差や低い障害物を越える行動を決めにくい。機体の動きから得られる情報も手掛かりになる。
周囲の立体地図を作って制御に渡す方法について、著者らは計算負荷、遅延、地図のノイズを課題に挙げる。MOVEは前方の視覚と機体自身の観測を単一の方策に取り込み、見える方向と見えない方向の移動を扱う。
手法
実機側は前方の深度画像と過去10時点の機体観測を受け取る。機体観測には角速度、重力方向、関節角・関節角速度、前回の行動、移動速度と旋回速度の指令が入る。画像と履歴から取り出した数値上の特徴を、情報同士の関係に注目する注意機構で統合し、記憶を保つ処理に通す。方策はこの特徴と現在の機体観測から12次元の行動を出す。横向きの階段通過なら、前方に映らない段差に対しても機体の反応を手掛かりにする設計である。
訓練時だけ、前・上・下・左・右と足元の深度を使う別経路を設ける。実機側の経路には、実際の速度、次時刻の機体観測、前方深度を再現する学習を課す。さらに対照学習、つまり同じ時点を表す二経路の特徴を近づける学習を行い、限られた入力から周囲の状況を捉えられるようにする。
新規性
MOVEは、前方の深度画像と機体観測だけを使う実機側の経路に、訓練時だけ周囲の深度を使う経路を組み合わせる。二つの経路は構造が似ているが、重みは共有しない。
速度などを再現する学習と、両経路の特徴を近づける対照学習を同時に行う。著者らは、周囲の視覚情報に注目させる交差注意機構も加え、視野外の状況を行動判断に反映させると説明している。
従来手法との違い
論文のBaselineは、PPOという強化学習手法だけで方策を最適化し、環境への適応機構を加えない設定である。著者らは対照学習、再構成学習、交差注意機構をそれぞれ外した設定とも比較した。
シミュレーションの前方への高跳びではMOVEの成功率が99.7%、Baselineが31.1%だった。横移動での階段通過は97.1%対36.2%、視界を遮った全方向の這行は80.7%対66.3%。いずれも論文で設定した地形と指令における結果である。
実験結果
著者らはIsaac Gymで訓練し、難易度を均等に配した地形上の1,000台のシミュレーション機体で成功率を測った。課題には高さ最大0.7mの高跳び、距離最大0.9mの跳躍、高さ最大0.15mの階段、深度カメラを完全に遮った這行が含まれる。比較結果は論文の表に示されている。
前方深度カメラを備えたLite3による実機試験では、著者らは前進時に0.6mの段差、0.9mの隙間、0.25mの階段、0.2mの開口を通過したと報告する。横・後ろを含む移動では0.15mの階段と0.25mの開口を挙げる。確認できた本文の範囲では、実機の試行回数と成功率の数値は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設現場を模した段差と低い通路で、四足ロボットの巡回動作を検討する。入力は前方深度センサーの画像、機体の姿勢・関節などの観測履歴、移動指令とし、MOVE型の方策から脚の行動指令を得る。通過可否の記録には別の仕組みを用意する。
事前学習には、対象に近い地形のシミュレーションと、周囲五方向・足元の深度、機体速度、次時刻の観測という訓練用情報が要る。現場のセンサーで生じる遮蔽や画像の乱れに合わせて条件を調整し、巡回への適用可否を確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の段差と通路を測り、近い地形をシミュレーションに用意する。前方深度センサーの画像と姿勢・関節などの機体観測履歴を入力とし、訓練用には周囲五方向と足元の深度、実際の速度、次時刻の観測を記録する。対象の深度センサーに合わせ、遮蔽と画像ノイズの条件を調整する。
小規模な検証では、同じ地形・移動指令・遮蔽条件でMOVE型の方策と、論文のPPOのみのBaseline型を比べる。前進・横移動・後退ごとに通過成功率と指令速度との差を測り、接触後の停止も記録する。結果は地形の難しさ別に確認する。
限界と課題
著者らが明記した制約は、外界の観測を深度画像に頼り、RGB画像から得られる色や物体の意味情報を使っていない点である。論文は、そうした情報を扱う感覚と運動の統合を今後の課題としている。
編集上の検証事項は、巡回先で深度画像が欠ける頻度、接触後の姿勢回復、動く人や資材への対応、安全に停止できる条件である。訓練時の周囲情報には後方の深度画像を含まない。報告された実機の通過例を、別の機体や現場での成功率とみなすことはできない。
出典
元のタイトル・要旨を確認する（英語）
MOVE: Multi-skill Omnidirectional Legged Locomotion with Limited View in 3D Environments
Legged robots possess inherent advantages in traversing complex 3D terrains. However, previous work on low-cost quadruped robots with egocentric vision systems has been limited by a narrow front-facing view and exteroceptive noise, restricting omnidirectional mobility in such environments. While building a voxel map through a hierarchical structure can refine exteroception processing, it introduces significant computational overhead, noise, and delays. In this paper, we present MOVE, a one-stage end-to-end learning framework capable of multi-skill omnidirectional legged locomotion with limited view in 3D environments, just like what a real animal can do. When movement aligns with the robot's line of sight, exteroceptive perception enhances locomotion, enabling extreme climbing and leaping. When vision is obstructed or the direction of movement lies outside the robot's field of view, the robot relies on proprioception for tasks like crawling and climbing stairs. We integrate all these skills into a single neural network by introducing a pseudo-siamese network structure combining supervised and contrastive learning which helps the robot infer its surroundings beyond its field of view. Experiments in both simulations and real-world scenarios demonstrate the robustness of our method, broadening the operational environments for robotics with egocentric vision.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01