アーカイブ / Robotics / Computer Vision
自機に対応する画像領域を選び、似たロボットへの取り違えを抑える視覚運動方策
Robot-centric Pooling
Robot-centric Poolingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Testing Sample
概要
- RcPは画像領域と自機の関節角度・手先姿勢との対応度を使い、動作予測に渡す特徴を選ぶ。
- 著者らの実機到達試験では、似た腕を見せた際の成功率はRcPで96%から92%、SSMで90%から14%になった。
- 自機と似た妨害物が画像上で重なると、RcPも妨害物の一部を動作予測に使う場合が報告された。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Robot-centric Poolingの仕組み
- 01画像と自機状態
- 02領域の対応度を算出
- 03最大の領域を選択
- 04手先速度を予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RcPは、ロボットがカメラ画像から動作を決める際、画面内のどの部分が自機に対応するかを選ぶ方法だ。こうした視覚運動方策では、似たロボットや周囲の物体が映ると、動作予測に不要な像が入り得る。
従来よく使われる、画像特徴と自機の関節角度などを後からつなぐ方法では、画像領域と自機状態の対応を明示しない。著者らは、共有空間での到達動作を念頭に、その対応を特徴の選択に使った。
手法
RcPはカメラ画像と固有受容状態、つまり自機から読んだ関節角度や手先姿勢を受け取る。画像を領域ごとの特徴に変え、各領域と自機状態の対応度を計算する。対応度が最大の位置の特徴を選び、自機状態と合わせて手先の速度を予測する。画像から必要な特徴をまとめるこの処理をプーリングという。
学習時には、訓練画像から切り出した自機を異なる背景や位置に貼った画像の組を作り、片方には同じ訓練データから切り出した似た腕も加える。同じ自機状態に対応する特徴を近づけ、異なる状態の特徴を離す対照学習と、正解の速度との誤差を使って学習する。切り出しには、おおまかに位置を調整したカメラを用いる。
新規性
RcPは、画像と自機の状態の対応を、動作予測に使う画像特徴の選択へ直接反映する。対応度が最大の位置を選ぶ処理と、背景や似た腕を変えた画像同士から特徴を学ぶ処理を組み合わせた。
著者らは、既存の画像を使う視覚運動方策と同時に学習でき、妨害用のロボットを動かして追加データを集める必要はないと述べる。
従来手法との違い
比較対象は、画像特徴の反応が強い位置を使うSpatial-Softmax（SSM）と、画像特徴を平均して使うR3Mである。SSMはImageNet1K、R3Mは人の活動映像を含むEgo4Dで事前学習されており、特徴のまとめ方だけが異なる比較ではない。
RcPは画像領域と自機状態の対応度で特徴を選ぶ。模擬環境で妨害物がない場合の到達成功率は、著者らの報告でRcPが90.0%、SSMが86.0%、R3Mが71.0%だった。
実験結果
著者らは、模擬環境の到達試験で3,000軌道を学習に用い、似た腕、別のロボット、植物を各4位置に配置した。各条件は3つの乱数設定で、それぞれ50軌道を試した。似た腕がある場合の平均到達成功率はRcPが76.2%、SSMが27.7%、R3Mが1.8%だった。
実機では200本の実機軌道と1,000本の模擬軌道で学習し、50の対象位置で試験した。到達後に対象をしっかり把持できた割合は、似た腕を見せる前後でRcPが96%から92%、SSMが90%から14%、R3Mが40%から2%になった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：隣のロボットアームも映る作業台で、自機を対象物へ近づける到達動作に試す。カメラ画像と自機の関節角度・手先姿勢を入力し、手先の速度指令を出力する。
導入には、対象の作業台で撮った画像、自機状態、正解となる速度指令を時刻ごとに対応づけた訓練データが要る。画像中の自機を切り出せるようカメラ位置を調整し、隣の腕が映る配置で効果を確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの到達作業を選び、カメラ画像、関節角度、手先姿勢、正解の手先速度を時刻ごとにそろえる。自機を画像から切り出せるようカメラ位置を調整し、同じ訓練データでRcPと比較対象のSSMを学習する。
対象位置をそろえ、妨害物なし、隣の腕が見える場合、自機と腕が重なる場合の到達成功率を比べる。画像を横にずらす条件も加え、失敗例では選ばれた画像領域を確認する。実機での試験範囲と停止条件は、対象作業に合わせて事前に定める。
限界と課題
著者らは、模擬環境で自機に似た妨害物が画像上で重なると、その一部を動作予測に使う場合を報告した。入力画像が224×224画素から7×7の特徴配置へ縮むことを原因の候補に挙げ、詳しい調査を今後の課題としている。
編集上の検証事項は、照明、遮蔽、カメラ位置や隣の腕の動きが変わる現場での成功率と誤動作である。確認できた本文の範囲では、到達以外の作業や長期運用での成績は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Raising Body Ownership in End-to-End Visuomotor Policy Learning via Robot-Centric Pooling
We present Robot-centric Pooling (RcP), a novel pooling method designed to enhance end-to-end visuomotor policies by enabling differentiation between the robots and similar entities or their surroundings. Given an image-proprioception pair, RcP guides the aggregation of image features by highlighting image regions correlating with the robot's proprioceptive states, thereby extracting robot-centric image representations for policy learning. Leveraging contrastive learning techniques, RcP integrates seamlessly with existing visuomotor policy learning frameworks and is trained jointly with the policy using the same dataset, requiring no extra data collection involving self-distractors. We evaluate the proposed method with reaching tasks in both simulated and real-world settings. The results demonstrate that RcP significantly enhances the policies' robustness against various unseen distractors, including self-distractors, positioned at different locations. Additionally, the inherent robot-centric characteristic of RcP enables the learnt policy to be far more resilient to aggressive pixel shifts compared to the baselines.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01