アーカイブ / Robotics
頭部の点群と4視点の画像を結び、移動ロボットの全身動作を予測するDSPv2
DSPv2
DSPv2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overview of DSPv2 . First, a sparse 3D encoder processes the point cloud, which is projected from the head-mounted camera to the base frame, to obtain voxel-level feature tokens. A 2D vision foundation model is also used to acquire patch-level feature maps. Subsequently, in the feature alignment process, a Q-former is designed to query multi-view semantic features from feature maps for the voxels and fuse them with spatial features, based on the positional information of the 3D voxels and 2D patches. Finally, the resulting features are fed into a dense head to generate the future action sequence in a bidirectional autoregressive paradigm.
概要
- DSPv2は、頭部カメラの三次元点群と4視点の画像特徴を位置情報で結び、全身の将来動作列を予測する。
- 著者らの実機評価では、元の条件のかご課題で把持率がDSPv2の80％に対しWB-WIMAは50％だった。
- 形を変えた仕分け課題の第2段階では全手法が把持に失敗し、著者らは低い位置から取る実演がほぼなかったことを理由に挙げた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DSPv2の仕組み
- 014視点画像・頭部点群・姿勢
- 02画像と点群の特徴抽出
- 03位置を使った特徴融合
- 04全身の将来動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DSPv2は、移動台車、胴体、両腕を協調させて物を扱うロボットの動きを、人が遠隔操作した実演から学ぶ手法である。この「模倣学習」は、カメラ画像などの観測と実演中の動作を対応付け、次の動きを予測する。
固定された机上の腕と違い、移動ロボットは対象へ近づき、姿勢を変えてからつかむ。複数カメラで広い範囲を見ながら全身の動きを合わせる必要があるため、場所や物の見た目が変わっても作業できるかが重要になる。
手法
入力は頭部・胴体・両手首のカラー画像、頭部カメラの色を含まない点群、現在のロボット姿勢である。点群は空間上の点の集まりで、台車を基準とする座標へ変換する。三次元側は点群を小さな空間区画ごとに処理し、画像側は画像を小領域に分けて見た目の特徴を取り出す。姿勢入力からは台車の位置を除く。
次にQ-formerという特徴を集める仕組みが、空間区画の位置を手掛かりに複数画像を参照し、その結果を点群の特徴に加える。例えばかごを拾う場面では、かごとの位置関係と画像上の見た目を共に使う。Dense Headという行動生成部は、将来の動作列を粗い時点から細かい時点へ予測し、台車・胴体・腕などの姿勢指令を作る。
新規性
著者らが提案する中心は、頭部カメラの三次元点群から得た位置情報を手掛かりに、4視点の画像から対応する特徴を集める構成である。点群は色を含まず、画像側が物体や場面の見た目を補う。
さらに、既存のDense Policyを移動台車、胴体、両腕を動かす全身操作へ拡張した。将来の動作列を重要な時点から順に埋め、各部位の動きを合わせて予測する。
従来手法との違い
比較対象は、全身移動操作向けのWB-WIMAと、視覚情報から動作を予測するDP、DP3である。WB-WIMAは複数視点の点群を統合・間引きし、拡散方式で行動を生成する。DSPv2は頭部の点群を小さな空間区画で扱い、各カメラの画像特徴と融合する。
著者らはDSPv2の画像処理部を保ち、行動生成部だけを拡散方式に替えた条件も調べた。元の条件のカート押し成功率はDense Headが90％、拡散方式が80％だった。一方、ボウリングの把持はそれぞれ80％、90％で、全指標でDense Headが上回るわけではない。
実験結果
著者らは25自由度のAstribot-S1で、かごの移動、ボトルの配送、容器の積み重ね、ボウリング、カート押しの5課題を評価した。実演は原則各課題100例、実機試行は原則各手法・各課題20回である。元の条件のかご課題では、把持率がDSPv2で80％、WB-WIMAで50％、配置率はそれぞれ60％、25％だった。
未学習条件として暗所、机の高さ変更、物の色・形変更、別の場面も調べた。別の場面でのカート押し成功率はDSPv2が80％、WB-WIMAが60％で、元の場面では両者とも90％だった。これらは著者らが設定した実機条件での結果であり、別の施設での成績を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：施設内で買い物カート型の運搬具を所定の位置まで押す作業を試す。頭部・胴体・両手首のカラー画像、頭部カメラの点群、台車位置を除く現在のロボット姿勢を入力し、台車・胴体・腕などの将来の姿勢指令を出力する。担当者が各試行を監視する。
適用には、対象の通路と運搬具で遠隔操作した実演を集め、観測と時刻ごとの全身動作を対応付ける必要がある。成否を調べるため、到達、取っ手の保持、障害物との接触も記録する。この用途での有効性は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まずカートを所定の距離だけ押す一作業に絞る。頭部・胴体・両手首のカメラからカラー画像を、頭部カメラから点群を記録し、遠隔操作の実演を集める。各観測に対応する台車・胴体・腕などの姿勢指令を教師データとし、対象のロボットとカメラ配置に合わせて学習する。
同じ実演と開始条件で、Dense Headと拡散方式の行動生成部を比べる。通常の配置と配置を変えた通路で、所定距離への到達率、取っ手の保持率、障害物との接触回数、所要時間を記録する。失敗した姿勢や配置を確認し、必要な実演を追加して再評価する。
限界と課題
著者らは、形を変えた仕分け課題の第2段階で、DSPv2を含む全手法が把持に失敗したと報告する。実演には右腕で非常に低い位置から物を取る例がほぼなく、著者らはこれを失敗の理由に挙げる。学習した実演の動作範囲を外れる場合の限界が表れている。
編集上の検証事項は、別のロボットやカメラ配置で必要な再学習量、物体が隠れた際の動作、指令の遅延、安全停止の条件である。報告された成功率は指定された課題と試行条件での値であり、施設での連続運用や長期の故障率は分からない。
出典
元のタイトル・要旨を確認する（英語）
DSPv2: Improved Dense Policy for Effective and Generalizable Whole-body Mobile Manipulation
Learning whole-body mobile manipulation via imitation is essential for generalizing robotic skills to diverse environments and complex tasks. However, this goal is hindered by significant challenges, particularly in effectively processing complex observation, achieving robust generalization, and generating coherent actions. To address these issues, we propose DSPv2, a novel policy architecture. DSPv2 introduces an effective encoding scheme that aligns 3D spatial features with multi-view 2D semantic features. This fusion enables the policy to achieve broad generalization while retaining the fine-grained perception necessary for precise control. Furthermore, we extend the Dense Policy paradigm to the whole-body mobile manipulation domain, demonstrating its effectiveness in generating coherent and precise actions for the whole-body robotic platform. Extensive experiments show that our method significantly outperforms existing approaches in both task performance and generalization ability. Project page is available at: https://selen-suyue.github.io/DSPv2Net/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01