アーカイブ / Robotics / VLM
指示された物体の領域に絞って、ロボットの把持位置を予測する
MapleGrasp
MapleGraspの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Modular systems generate object masks and grasp poses, utilizing a control algorithm to estimate joint space trajectories, while VLAs directly map vision and textual modalities to actions.
概要
- MapleGraspは指示された物体のマスク内に特徴を絞って把持位置を予測する。
- 著者らのOCID-VLG評価では、CROGのJ@1が77.2から86.15になった。
- マスクの誤りと未見物体への性能低下が導入時の重要な確認点である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MapleGraspの仕組み
- 01画像と指示文
- 02対象領域を推定
- 03領域内の特徴を集約
- 04把持位置を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MapleGraspは、文章で指された物体を画像内で見つけ、ロボットがつかむ位置を予測する。机上に多くの物体があると、対象を取り違えたり、対象は合っていても周囲に干渉する位置を選んだりする。未知の物体に対しても、指示と画像を結び付ける必要がある。
この研究は、対象の領域を示す情報を把持位置の予測へ利用する。物体の認識と、実際にどこをつかむかという判断をつなぐ点が実務上の焦点になる。
手法
入力はカラー画像と奥行き画像を合わせたRGB-D画像、および「右端の赤い箱」のような指示文である。まず画像と文章の特徴を組み合わせ、対象物だけを示すマスクを予測する。マスクは画素ごとに対象かどうかを示す領域情報で、学習の第一段階ではその予測部分を先に調整する。
第二段階では、マスク内の特徴を集めて把持用の予測へ渡す。出力は画像上の把持中心、つかむ幅、向きなどで、奥行きとカメラの情報を使えば三次元の位置へ変換できる。著者らの実行構成では、その位置から関節の動きを計算する。
新規性
MapleGraspの中心は、文章で指定された物体の領域を示すマスクを、把持位置の予測に直接使うことだ。画像全体に広がる特徴から対象領域内の情報を集め、つかむ位置の推定へ渡す。著者らは、この処理を既存の言語指示型把持モデルに加えられる構成として示す。
併せて、複数物体が写る画像、指示文、把持位置、物体マスクを含むRefGraspNetを構築した。手法の効果と、学習データを増やした効果は分けて読む必要がある。
従来手法との違い
比較の中心は、領域マスクと把持位置を扱う従来モデルのCROGやRef2Grabへ、マスクを用いた特徴集約を追加した場合である。CROG単体とMapleGrasp-CROGを比べると、OCID-VLGではマスクの重なりはほぼ同程度だが、最上位の把持候補が正解に合う割合は上がった。
論文は視覚・言語から動作を直接予測するVLAモデルともLIBEROで比較する。ただし、MapleGraspの主対象は把持であり、物体を置くまでを含む作業全体の成功率として同列に読むべきではない。
実験結果
著者らはOCID-VLGと新たなRefGraspNetで評価した。OCID-VLGではCROGのJ@1が77.2、MapleGrasp-CROGが86.15だった。J@1は最上位の把持矩形が正解と所定の重なり・角度条件を満たす割合で、この差を本文は約12％の相対改善と説明する。
RefGraspNetは約9.7万画像、88物体、約2億1900万件の把持姿勢を含む。未見物体のJ@1はCROGの70.81に対しMapleGrasp-CROGが74.92だった。入力の要旨と本文では実世界試験の成功率など一部の数値が一致しないため、その値はここで採用しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：仕分け台に複数の箱や袋がある場面で、「右端の赤い箱をつかむ」という指示から把持候補を出す。入力はカラー画像、奥行き画像、指示文で、出力は対象領域と、つかむ中心・幅・角度とする。担当者が候補を確認してからロボットの動作へ渡す。
似た色の物体や重なった物体を含む場面を用意し、指示した対象以外に候補が出た例を記録する。対象の特定と把持位置の妥当性を別々に確認できる運用がよい。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物が複数ある卓上画像と指示文を少数集め、正しい物体領域と把持位置を人が記録する。既存の把持モデルと、同じ基盤にMapleGraspの処理を加えた構成を比べ、対象領域の重なりとJ@1を測る。
学習時に見せた物体と未見物体を分け、候補が周囲の物体へかかる割合も確認する。実機へ進む前に、奥行きから求めた三次元位置を人が点検し、把持の成否は別の指標として記録する。
限界と課題
著者らは、RefGraspNetで学習した各モデルの未見物体への性能が、学習時に見た物体より下がると報告している。また、対象領域を示すマスクが不正確だと、その内側へ絞る処理は把持位置の推定も損なう。論文中の実世界試験は、確認できた本文の範囲では条件の全体を追えない。
編集上の確認点は、透明な袋、強い遮蔽、似た物体が密集する現場での対象選択と接触の安全性である。入力文の曖昧さも、把持失敗とは分けて数えたい。
出典
元のタイトル・要旨を確認する（英語）
MapleGrasp: Mask-guided Feature Pooling for Language-driven Efficient Robotic Grasping
Robotic manipulation of unseen objects via natural language commands remains challenging. Language driven robotic grasping (LDRG) predicts stable grasp poses from natural language queries and RGB-D images. We propose MapleGrasp, a novel framework that leverages mask-guided feature pooling for efficient vision-language driven grasping. Our two-stage training first predicts segmentation masks from CLIP-based vision-language features. The second stage pools features within these masks to generate pixel-level grasp predictions, improving efficiency, and reducing computation. Incorporating mask pooling results in a 7% improvement over prior approaches on the OCID-VLG benchmark. Furthermore, we introduce RefGraspNet, an open-source dataset eight times larger than existing alternatives, significantly enhancing model generalization for open-vocabulary grasping. MapleGrasp scores a strong grasping accuracy of 89\% when compared with competing methods in the RefGraspNet benchmark. Our method achieves comparable performance to larger Vision-Language-Action models on the LIBERO benchmark, and shows significantly better generalization to unseen tasks. Real-world experiments on a Franka arm demonstrate 73% success rate with unseen objects, surpassing competitive baselines by 11%. Code is provided in our github repository.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29