アーカイブ / Robotics / VLM / Computer Vision
手と対象物を追跡し、複数視点から腕と手の動作を学ぶ「OminiAdapt」
OminiAdapt
OminiAdaptの原論文から掲載した図です。細部はクリックして拡大できます。
出典：OminiAdapt / arXiv ↗概要
- 初期画像で手と対象物を特定し、後続の複数視点の映像で追跡しながら腕と手の動作列を予測する。
- 著者らの各20回の比較試験では、リンゴ採取の成功率はOminiAdaptが90%、HITとACTが各35%だった。
- 著者らは複数視点の不一致と触覚情報の未利用を限界として挙げている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OminiAdaptの仕組み
- 01複数視点の映像と関節状態
- 02手と対象物を追跡
- 03画像特徴を調整
- 04腕と手の動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OminiAdaptは、実演時の画像と動作を対応付けてロボットの操作を学ぶ模倣学習の手法である。運用時に対象物の位置や背景が変わると、学習時と画像の見え方がずれ、予測した動作が適切でなくなることがある。このずれは、細かな位置合わせや把持を要する作業で問題になる。
ロボットに取り付けたカメラには、手や対象物とともに周囲の物も映る。著者らは、作業に関係する領域を選び、複数の視点と腕・手の状態を使って動作を予測する構成を提案した。
手法
初期画像とタスク説明を画像と言葉を扱うモデルに与え、注目する要素を文章で指定する。Grounding-SAMが各視点の初期画像からその領域を画素単位のマスクとして切り出し、後続の画像ではCutieが領域を追跡して背景を隠す。例えばリンゴを採る課題では、手とリンゴに関係する領域を残した画像を使う。
画像の特徴はResNet18で抽出し、DABNというタスク別の正規化で特徴の値を調整する。CBAMという注意機構が、特徴の種類と画像内の位置に重みを付ける。複数視点の特徴と腕・手の関節状態をTransformerという系列処理モデルに入力し、次の複数時点の腕と手の動作を出力する。
新規性
著者らが主張する進展は、手と対象物の追跡による背景の除去、画像特徴への注意機構、タスクに応じた正規化を、一つの模倣学習方策に組み合わせた点にある。視点ごとの情報を腕と手の状態と合わせ、次の動作列を予測する。
初期画像ではタスク説明から注目対象を選び、その後の画像では対象領域を追い続ける。著者らは、この構成で環境の変化による画像特徴のずれを抑えることを狙っている。
従来手法との違い
比較対象のHITとACTは、実演からロボットの動作を学ぶ既存手法である。ACTは複数時点の動作をまとめて予測し、OminiAdaptもこの方式を採用する。OminiAdaptでは予測前に手と対象物の領域を追跡し、背景を隠した画像を使う。
さらに、画像の特徴と位置に重みを付け、タスク別の正規化パラメータを用いる。著者らは衣服を畳む、リンゴを採る、花を生ける、水を注ぐ課題でHIT、ACTと成功率を比較した。差を確認できる範囲は、本文に記載された課題と試行条件に限られる。
実験結果
著者らは衣服を畳む課題に40件、リンゴ採取に50件、花を生ける課題と水を注ぐ課題に各60件の訓練データを集めた。各課題を20回試行した比較では、リンゴ採取の成功率はOminiAdaptが90%、HITとACTが各35%だった。花を生ける課題では順に65%、25%、20%と報告している。
部品を外す試験は各課題10回と記載される。注意機構の試験では全構成の成功率が90%、CBAMを外すと40%だった。DABNを外すと「Dynamic Impact」は90%から70%になったが、全体の成功率はともに90%である。背景を隠す別の試験では成功率80%であり、異なる試験条件の数値として読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業台で指定された容器をつかむ操作に適用する。入力には複数視点のRGB映像、腕と手の関節状態、対象を示すタスク説明を使う。学習には、その容器作業の実演映像と、各時点に対応する腕と手の動作記録が必要である。
初期画像で手と容器の領域を指定し、以後の映像で追跡する。運用時の出力は次の複数時点の動作列とし、容器の位置や背景を変えたときも作業を完了できるかを調べる。本文はこの容器作業での性能を報告しておらず、用途は検証を要する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：容器をつかむ一つの作業について、複数視点のRGB映像と腕・手の関節状態を同期して記録する。訓練データには実演中の画像と各時点の動作記録が必要で、初期画像には手と容器を特定するタスク説明を用意する。まず追跡した領域が適切かを目視で確認する。
同じ実演データを使い、全構成と背景マスクを外した構成を比較基準にする。元の配置と容器の位置や背景を変えた配置で試行数をそろえ、作業全体の成功率、位置合わせと把持の成否、追跡領域のずれを記録する。対象作業への適応には、実演データを集めて方策を学習し直す必要がある。
限界と課題
著者らは、複数視点の情報に不一致が残ることと、触覚情報を利用していないことを限界に挙げている。本文には視点間でマスクをそろえる制約も記載されるが、その制約だけで不一致が解消したとは示されていない。
編集上の検証事項は、手や対象物が隠れたときの追跡、未知の対象物や照明での動作、連続操作によるずれの蓄積である。また、概要は推論時の正規化調整に言及する一方、方法の詳細はタスク別パラメータの学習と選択を説明している。推論時に何を更新するかは確認が必要である。
出典
元のタイトル・要旨を確認する（英語）
OminiAdapt: Learning Cross-Task Invariance for Robust and Environment-Aware Robotic Manipulation
With the rapid development of embodied intelligence, leveraging large-scale human data for high-level imitation learning on humanoid robots has become a focal point of interest in both academia and industry. However, applying humanoid robots to precision operation domains remains challenging due to the complexities they face in perception and control processes, the long-standing physical differences in morphology and actuation mechanisms between humanoid robots and humans, and the lack of task-relevant features obtained from egocentric vision. To address the issue of covariate shift in imitation learning, this paper proposes an imitation learning algorithm tailored for humanoid robots. By focusing on the primary task objectives, filtering out background information, and incorporating channel feature fusion with spatial attention mechanisms, the proposed algorithm suppresses environmental disturbances and utilizes a dynamic weight update strategy to significantly improve the success rate of humanoid robots in accomplishing target tasks. Experimental results demonstrate that the proposed method exhibits robustness and scalability across various typical task scenarios, providing new ideas and approaches for autonomous learning and control in humanoid robots. The project will be open-sourced on GitHub.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01