アーカイブ / Robotics
密集した物体を押してからつかむ：把持の見込みで動作を選ぶ手法
Equivariant Push-Grasp Network
Equivariant Push-Grasp Networkの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2 : Given an RGB-D observation, SAM2 [ 16 ] generates a set of object masks. GraspNet and PushNet then use the depth image and these masks to predict candidate grasp and push actions. The target object’s grasp pose is filtered using its corresponding mask, and the best candidate is selected. Finally, CriticNet evaluates the selected grasp pose against a threshold τ \tau to determine whether to execute the grasp or a push action.
概要
- 上方のRGB-D画像から物体マスクと押し・把持候補を得て、対象の把持候補の評価に応じて動作を選ぶ。
- 把持側を先に学習し、押す前後の把持評価点の変化と模擬把持の成否を使って押し側を学習する。
- 著者らの表Iでは、物体25個の指定物回収GSRは提案手法が92.0%、Wangらが39.2%だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Equivariant Push-Grasp Networkの仕組み
- 01上方RGB-D画像
- 02物体マスク生成
- 03押し・把持候補予測
- 04把持候補を採点
- 05押しまたは把持
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、密集した物体の中から指定品を取り出すため、押す動作とつかむ動作を選ぶ。周囲の物体が対象を隠したり、把持器の指を入れる隙間をふさいだりすると、直接つかむことが難しい。
先に物体を押せば隙間を作れる場合があるが、押す位置と方向の選択も必要になる。対象を回収できるかに加え、そのために何回動作するかが運用上の論点になる。
手法
上方のRGB-D画像は、色と距離を併せた画像を指す。SAM2で物体ごとの領域マスクを作り、指定された対象を特定する。GraspNetは深度画像から把持位置と向きごとの候補を出し、PushNetは深度画像とマスクから押す候補を出す。CriticNetが対象の把持候補を採点し、基準を超えるか押す回数の上限に達すれば把持し、それ以外は押して再観測する。
学習では、まずシミュレーション中の把持姿勢と成否のラベルでGraspNetとCriticNetを学ぶ。次に、押した後の把持を模擬し、成功なら押しの報酬を1、失敗なら押す前後の把持評価点の差としてPushNetを学ぶ。例えば対象の横を押した後、更新された画像で把持候補を選び直す。
新規性
著者らの提案は、机上の画像を回転・平行移動すると押し・把持の予測も対応して動く「等変性」を、両方の動作予測に組み込んだ点にある。把持候補を評価するモデルは、画像と把持姿勢を一緒に回転しても評価値が変わらないよう設計する。
押し方の学習には、押した前後の把持評価点の変化を使う。先に把持側を学習する二段階の手順により、押し側と把持側を交互に最適化する必要をなくしたと著者らは説明する。
従来手法との違い
比較対象は、押し・把持の予測を多段階で学習するXuらの手法と、それを拡張して物体マスクも行動選択に使うWangらの手法である。著者らは、把持側を先に学習し、その評価を使って押し側を学習する。
表Iには双方の押し側・把持側を組み替えた条件もある。物体25個の指定物回収では、Wangらの把持側に提案手法の押し側を組み合わせたGSRは49.5%で、Wangら単独の39.2%を上回るが、著者らはこの組み合わせによる改善を大きくないと解釈している。
実験結果
著者らは、指定物の回収、場面全体の片付け、狭い配置での指定物回収を評価した。GSRは把持試行に対する成功割合、MEは全動作に占める把持動作の割合を表す。表Iのシミュレーションでは対象ごとに押す動作を最大5回とし、物体数ごとに4つの乱数条件の平均を示す。
表Iの物体25個での指定物回収は、提案手法のGSRが92.0%、Wangらが39.2%、Xuらが24.6%で、MEは順に57.2%、27.7%、42.5%だった。実機の狭い配置では、表IIIの8配置を各10回試し、提案手法は配置ごとに7～10回成功した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：仕分け台で、周囲の品物に囲まれた指定品を一つ取り出す工程を想定する。入力は上方のカラー・深度画像、物体ごとの領域マスク、取り出す品物の指定とし、出力を押す位置と方向、または把持位置と向きにする。
適応には、対象品と周囲の品物を使った配置の観測、把持姿勢と成否のラベル、押す前後の観測が必要になる。押した後に撮像し直して候補を選び直す運用を試す案であり、現場での回収率向上を示す結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象品と周囲の品物を使った配置を再現し、上方のカラー・深度画像、物体ごとの領域マスク、対象の指定、把持姿勢と成否のラベルを集める。押す前後の観測も記録し、把持側を先に学習してから押し側を適応させる。
同じ品物と配置で、押さずに把持する条件と押しも選べる条件を比べる。対象品のGSR、全動作に占める把持の割合、押す回数、対象外の品物の移動を測り、シミュレーションで見た差が実際の配置でも再現するか確かめる。
限界と課題
著者らは、Wangらの把持側に提案手法の押し側を組み合わせても改善が大きくないと報告し、把持側の能力が結果を制約しうると考察する。また、確認できた本文の範囲では実機の表IVが途中で切れており、要旨にある実機での改善率の算出条件は照合できない。
編集上の検証事項は、遮蔽された対象品のマスクが安定するか、押した際に周囲の品物がどう動くか、対象外の品物を乱さず回収できるかである。実際の品物と配置で、回収の成否と押す回数を併せて確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Push-Grasp Policy Learning Using Equivariant Models and Grasp Score Optimization
Goal-conditioned robotic grasping in cluttered environments remains a challenging problem due to occlusions caused by surrounding objects, which prevent direct access to the target object. A promising solution to mitigate this issue is combining pushing and grasping policies, enabling active rearrangement of the scene to facilitate target retrieval. However, existing methods often overlook the rich geometric structures inherent in such tasks, thus limiting their effectiveness in complex, heavily cluttered scenarios. To address this, we propose the Equivariant Push-Grasp Network, a novel framework for joint pushing and grasping policy learning. Our contributions are twofold: (1) leveraging SE(2)-equivariance to improve both pushing and grasping performance and (2) a grasp score optimization-based training strategy that simplifies the joint learning process. Experimental results show that our method improves grasp success rates by 49% in simulation and by 35% in real-world scenarios compared to strong baselines, representing a significant advancement in push-grasp policy learning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01