アーカイブ / Robotics
異なるロボットの手先へ実演を移すCEI：接触面の位置と向きを手掛かりに
Cross-Embodiment Interface（CEI）
概要
- CEIは指腹の表面点と向きを使い、異なる手先で似た接触の仕方を探す。
- 移行先の関節軌道に加え、点群観測と動作目標を合成して学習用実演を作る。
- 著者らは実機６課題で平均成功率70％、移行元の成功率に対する比率82.4％を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Cross-Embodiment Interface（CEI）の仕組み
- 01元の実演と機体形状
- 02指腹の点と向きを比較
- 03移行先の関節軌道を調整
- 04点群と動作を合成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ロボットの実演データは、特定の視点やアーム、２本の指で挟む平行グリッパーに偏りやすい。学習した動作を関節構造や手先の形が違う機体へ移す際には、元の関節目標も見た目もそのままでは合わない。
多指ハンド用の実演を新たに集める負担を減らすには、既存の実演を移行先向けの学習データに変える方法が要る。CEIはそのために、両機体で似た接触の仕方を探し、実演の観測と動作を変換する。
手法
CEIは元の実演と、両機体の形状・関節仕様を入力にする。指腹から物体との接触候補となる表面点と、面が向く方向を取り出す。Directional Chamfer Distanceは、両機体の点の近さと向きの一致を合わせて測る尺度で、例えば２本指で立方体を挟む配置に近い多指ハンドの配置を探せる。
実演の各時点で、この尺度が小さくなるよう移行先の関節角を調整する。前の時点の結果を次の計算の出発点にし、関節範囲からの逸脱も抑える。得た次時点の関節位置を動作目標とし、元の点群から元の機体に当たる点を除き、移行先の形状から採った点を加える。こうして関節状態と点群を含む学習用観測を作る。
新規性
著者らの提案は、手先の形が違っても似た物体操作を表せるよう、指腹の表面点とその向きから「機能的類似性」を定義した点にある。平行グリッパーと多指ハンドの対応を、この類似性で求める。
対応を実演軌道の各時点に適用し、移行先の関節目標だけでなく、移行先の姿を含む点群観測も合成する。観測と動作を一組の実演として生成する構成である。
従来手法との違い
著者らは、手先の開閉姿勢を人が指定して間を補間するBMSと、接触面の向きを使わないCEIを比較した。シミュレーションの４構成では、BMSは立方体の把持と積み重ねの両課題で成功率０％だった。
向きを使わないCEIの３課題を通じた平均成功率は32％と報告され、把持課題で苦戦した。これは対象の４構成と３課題での比較であり、別の手先や作業でも同じ差が出ることを示すものではない。
実験結果
著者らはシミュレーションで、Franka Pandaの実演を４種のアームと４種の手先を組み合わせた16構成へ移した。引き出し開け、立方体の把持、積み重ねで軌道を再生し、合成データで学習した方策も20試行・３シードの条件で評価した。
実機ではUR5のAG95平行グリッパーからXhandへ３課題、逆方向へ３課題を移し、各課題10試行で評価した。著者らは６課題で移行先の平均成功率70％、移行元の成功率に対する比率82.4％と報告する。これらは評価した機体、課題、試行条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場の引き出し式収納から部品を取り出す前段階として、既存の平行グリッパーによる引き出し開けの実演を多指ハンドへ移す。入力には元の実演の点群、アームと手先の関節状態・動作目標、両機体の形状と関節範囲が要る。
元の点群にはRGB-Dセンサーによる深度観測が必要で、学習用の成功ラベルは本文の方式では指定されていない。移行先の観測と動作を合成して方策を学習し、現場では開扉成否を評価用ラベルとして記録する。取っ手の形に合わせた接触位置の調整が要るかを確かめる応用仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず引き出し開け１課題で、元の機体の実演を集める。RGB-Dセンサーの点群、アームと手先の関節状態・次の関節目標、両機体の形状と関節範囲をそろえ、指腹の接触候補から軌道と観測を移行先向けに合成する。
比較基準は、同じ元データを使い、面の向きを除いたCEIとする。移行先で軌道の再生と学習した方策を試し、開扉成功数、取っ手での滑り、関節範囲の逸脱を記録する。成功ラベルは評価用に付け、点群の欠落や取っ手の形に応じた調整の要否も確認する。
限界と課題
著者らは、把持や積み重ねのように接触が複雑な課題では、形状に基づく合成が滑りなどの物理的な乱れに弱いと述べる。実機の引き出し開けでは取っ手から指が滑る例を挙げ、花束を花瓶へ入れる課題では細い茎が滑りやすく、移行元と移行先の双方で成功率が低いと報告した。
編集上の検証事項は、対象物の材質や接触力が変わる場合の成否、合成軌道の実行可能性、点群が欠ける場合の影響である。報告された実機評価は６課題に限られるため、別の設備での成功率は現場で測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
CEI: A Unified Interface for Cross-Embodiment Visuomotor Policy Learning in 3D Space
Robotic foundation models trained on large-scale manipulation datasets have shown promise in learning generalist policies, but they often overfit to specific viewpoints, robot arms, and especially parallel-jaw grippers due to dataset biases. To address this limitation, we propose Cross-Embodiment Interface (\CEI), a framework for cross-embodiment learning that enables the transfer of demonstrations across different robot arm and end-effector morphologies. \CEI introduces the concept of \textit{functional similarity}, which is quantified using Directional Chamfer Distance. Then it aligns robot trajectories through gradient-based optimization, followed by synthesizing observations and actions for unseen robot arms and end-effectors. In experiments, \CEI transfers data and policies from a Franka Panda robot to \textbf{16} different embodiments across \textbf{3} tasks in simulation, and supports bidirectional transfer between a UR5+AG95 gripper robot and a UR5+Xhand robot across \textbf{6} real-world tasks, achieving an average transfer ratio of 82.4\%. Finally, we demonstrate that \CEI can also be extended with spatial generalization and multimodal motion generation capabilities using our proposed techniques. Project website: https://cross-embodiment-interface.github.io/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01