アーカイブ / Robotics
点群を物体ごとに分け、ロボットの状態に応じて動作を作るPRISM
PRISM
PRISMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Over view of PRISM architecture. PRISM takes a single-view 3D point cloud as input. First, it segments the point cloud into clusters using DBSCAN, and each cluster is processed by a shared-parameter PointNet (batchnorm layer changed to layernorm layer) to extract local features. These features are fed into a Transformer encoder to capture inter-object relationships via self-attention. Next, the features are combined with the robot’s proprioceptive state through cross-attention, focusing on task-relevant objects and generating conditional inputs for the diffusion module. Finally, the diffusion model denoises Gaussian noise step-by-step, guided by these conditions, to generate smooth and continuous action sequences.
概要
- 点群を密度に基づいて分け、各まとまりの形状とロボットの関節状態を合わせて動作列を作る。
- シミュレーションの散らかった2課題で、著者らは平均成功率66.1％を報告した。
- 物体間の関係を扱う部分には効果が見られた一方、著者らは計算量と少量データでの過学習を課題に挙げる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PRISMの仕組み
- 01点群と関節状態
- 02点群をまとまりに分割
- 03関連対象へ注意を配分
- 04腕の動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ロボットが散らかった台から一つの物を扱うには、対象の位置だけでなく周囲との立体的な関係を知る必要がある。点群は空間上の点の集まりで、物の形や距離を表せるが、場面全体を一度に扱うと目標の細部が埋もれやすい。
さらに、物をつかむ段階と置く段階では注目すべき対象が変わる。著者らは、視覚情報と腕の状態を結び付け、作業の進行に合わせて見る場所を変える方法を検討した。
手法
PRISMは、点群とロボットの関節状態から、次に実行する動作の列を作る。最初にDBSCANという、点の密集具合でまとまりを見つける方法で点群を分け、各まとまりの局所的な形を数値化する。例えばカップをマットへ置く課題では、カップとマットの情報を別々に保持する。
次に、まとまり同士の関係を捉え、関節状態を手掛かりに必要な対象へ注意を配分する。交差注意とは、腕の状態から視覚情報のどこを見るか重みを決める計算である。最後に拡散方式の動作生成器が、ノイズを段階的に取り除くように連続した動作列を作る。学習には作業の実演を使う。
新規性
PRISMは、点群を密度に基づいてまとまりへ分け、各まとまりの形状を表す特徴を作る。その後、ロボットの関節状態を手掛かりに、いまの動作に関係するまとまりへ重みを付ける。
物体ごとの手動ラベルや事前学習済みの視覚モデルを使わず、実演データから入力と動作を結び付ける設計が特徴だ。左右の腕を区別して注意を計算し、複数段階の作業で注目先を変えられるようにしている。
従来手法との違い
著者らは画像を入力とする2D Diffusion Policy（DP）と、点群を使う3D Diffusion Policy（DP3）を比較対象にした。どちらも実演から動作を学ぶ方式だが、PRISMでは場面全体を一つの特徴にまとめず、点群を分けた後に関節状態と結び付ける。
評価では、物が散らかった作業や、把持から配置へ目標が移る作業で成功率を比較した。PRISMの優位性は提示されたシミュレーション条件での結果であり、実際の生産現場で同じ差が出るという数値ではない。
実験結果
著者らはRoboTwinを用いたシミュレーションの6課題で、DPとDP3を比較した。各課題で100件の実演を使う条件を含み、5種類の乱数設定と各設定100回の試行で成功率を測った。物が散らかった2課題の平均成功率はPRISMが66.1％、DP3が28.6％、DPが13.5％だった。
複数段階の4課題では順に90.0％、73.3％、26.8％と著者らは報告する。物体間の関係を扱う部分を外す比較では、6課題の平均が75.5％から82.0％へ上がった。これらは各乱数設定で最も成功率の高い保存時点を選んだ後の集計である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：部品が複数置かれた作業台で、指定された部品を取り、決めた位置に置く操作を対象にする。入力は作業台の点群とロボットの関節状態、出力は続けて実行する腕の動作列とする。
作業者の実演を記録し、部品をつかむ段階と置く段階で注目する領域が変わるかを確認する。これは論文のカップ配置や散らかった物体からの選択を参考にした応用案であり、製造現場での成功率を示すものではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物を取って置く一作業に絞り、点群、関節状態、作業者の実演を対応付けて記録する。まず現在の2D画像または点群全体を使う方策を基準とし、同じ初期配置でPRISM型の方策を試す。
作業の完了率、対象物を間違えた回数、把持後に置く対象へ注目が移ったか、動作生成に要する時間を測る。物を増やした配置と近接させた配置を分けて試し、点群の分割が失敗した例も残す。
限界と課題
著者らは、物体間の関係を扱うTransformerを加えると全体の成功率が上がる一方、計算量が増え、実演が少ない条件では過学習の可能性があると述べる。確認できた主な比較はシミュレーションの6課題で、実環境への一般化はこの数値だけでは判断できない。
編集上の確認事項は、点群の欠損や近接した部品での分割の崩れ、作業中の注目先の安定性、失敗時の安全な停止である。実演数を減らした場合の成績と処理時間も、想定する作業条件で測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
PRISM: Pointcloud Reintegrated Inference via Segmentation and Cross-attention for Manipulation
Robust imitation learning for robot manipulation requires comprehensive 3D perception, yet many existing methods struggle in cluttered environments. Fixed camera view approaches are vulnerable to perspective changes, and 3D point cloud techniques often limit themselves to keyframes predictions, reducing their efficacy in dynamic, contact-intensive tasks. To address these challenges, we propose PRISM, designed as an end-to-end framework that directly learns from raw point cloud observations and robot states, eliminating the need for pretrained models or external datasets. PRISM comprises three main components: a segmentation embedding unit that partitions the raw point cloud into distinct object clusters and encodes local geometric details; a cross-attention component that merges these visual features with processed robot joint states to highlight relevant targets; and a diffusion module that translates the fused representation into smooth robot actions. With training on 100 demonstrations per task, PRISM surpasses both 2D and 3D baseline policies in accuracy and efficiency within our simulated environments, demonstrating strong robustness in complex, object-dense scenarios. Code and some demos are available on https://github.com/czknuaa/PRISM.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29