アーカイブ / Robotics / Generative AI / Computer Vision
一人称映像と言葉からヒューマノイドの全身動作を作るEgoPriMo
EgoPriMo
EgoPriMoの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Task overview. Given egocentric observations and a text prompt, EgoPriMo generates full-body motion for humanoid control.
概要
- 一人称観測と言葉の指示からSMPL形式の全身動作を作り、既存の制御器に参照動作として渡す。
- 三系列DiTと条件マスクにより、一つのモデルで動作の復元・生成・予測を扱う。
- 著者らの比較ではNymeriaのMPJPEと足の滑りが減った一方、EgoExo4Dでは足の滑りが増えた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EgoPriMoの仕組み
- 01一人称映像と指示文
- 02条件マスク
- 03三系列DiTと統合
- 04SMPL全身動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EgoPriMoは、人が頭部視点で見た場面と言葉の指示に応じて、全身の動作列を作る手法だ。例えば机上の物に手を伸ばすには、近づく、立ち位置を変える、かがむといった動きを場面に合わせてつなぐ必要がある。
既存の動作追跡は、あらかじめ与えられた軌道を再現する。著者らが扱うのは、その前段階にある動作の作成だ。一人称の観測と利用者の意図から、制御器へ渡す参照動作を得ようとしている。
手法
一人称の観測と指示文を入力し、利用できる場合は姿勢の手掛かりも加える。出力は、人体の形と姿勢を表すSMPL形式の全身動作列だ。例えば「左足でボールを蹴る」という指示に対し、観測した場面を踏まえた動作を作り、既存のロボット制御器へ参照列として渡す。
中核の三系列DiTは、動作を生成するTransformer型モデルで、身体動作・映像・言葉を別々に処理してから情報を統合する。条件マスクは、入力情報や動作の時間帯を見せるか隠すかを切り替える仕組みだ。これにより、観測から動作を戻す復元、動作全体の生成、過去から先を作る予測を同じモデルで行う。
新規性
動作・映像・言葉をそれぞれの系列で処理し、系列間で情報を交換した後に統合する三系列DiTを提案した。動作の時間的なつながりと、場面や指示の情報を併せて扱う構成である。
見せる情報と予測する時間帯をマスクで切り替え、一つの学習済みモデルで動作の復元・生成・予測を扱う。人の動作をロボット制御器が追跡できる参照動作として出す点も著者らの狙いだ。
従来手法との違い
主な比較対象は、一人称情報を使う動作モデルUniEgoMotionである。著者らはその公式の構成をNymeriaと処理済みEgoExo4Dの映像・動作データで再学習し、同じ検証映像、SMPL変換、評価手順で比べた。
EgoPriMoは言葉と動作の組を含むHumanML3Dも学習に使う。一方、UniEgoMotionはそのデータを利用できないため、学習データの条件は一致しない。三系列構成の効果については、同じ混合データを使う単一系列の構成とも比較している。
実験結果
著者らはNymeriaとEgoExo4Dの検証データでUniEgoMotionと動作生成を比較した。Nymeriaでは、関節位置の平均誤差MPJPEが1.040から0.477、接地中の足の水平移動を測るfoot slidingが4.35から1.26になった。一方、動作分布の指標M-FIDは0.023に対し0.032で、UniEgoMotionの方が低い。
EgoExo4DではMPJPEが0.488から0.454になったが、foot slidingは1.84から4.42に増えた。著者らはNymeriaで復元・生成・予測も評価し、Unitree機体で蹴る動作と踊る動作を実演した。実演の作業成功率は報告していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上の物に手を伸ばす動作を、ヒューマノイドの参照動作として試作する。頭部視点の映像と「物に近づいて手を伸ばす」という指示を入力し、接近から姿勢変更、腕を伸ばすまでの全身動作列を出力する。
適用には、対象作業の一人称映像、対応する全身動作の教師データ、指示文を用意する。頭部視点のセンサーで映像を取り、動作をSMPL形式に合わせ、生成結果を対象機体の制御器が追跡できるよう調整する。物に届くかは別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業の短い一人称映像、対応する全身動作の教師データ、指示文をそろえる。頭部視点の映像センサーと動作計測方法を決め、動作をSMPL形式へ変換する。対象機体の制御器が生成した参照動作を追跡できるかも先に確かめる。
同じ検証映像を使う一人称動作生成を比較基準に置き、MPJPEと足の浮き、foot slidingを測る。制御器につないだ後は、意図した対象に届くか、足元が安定するかを記録する。改善を前提とせず、場面ごとに失敗例を残す。
限界と課題
著者らは、接地中の足の滑りを主な物理的な不自然さとして挙げる。言葉による操作の評価は指示文を使った実演に限られ、ロボットでの評価も一つの制御器と機体に限られる。出力は全身動作の参照列であり、バランスや駆動は外部の制御器が担う。
編集上の検証事項は、作業場所や対象物が変わった場合の動作、指示の言い換えへの反応、接触時の安定性である。確認できた本文の範囲では、実機での作業成功率や安全性を判断する定量値は示されていない。
出典
元のタイトル・要旨を確認する（英語）
EgoPriMo: Egocentric Motion Generation for Interactive Humanoid Control
Humanoid robots require whole-body motions that adapt to scene context, task requirements, and user intent. Motion tracking reproduces specified trajectories, and humanoid vision-language-action systems provide semantic interfaces, but neither offers a scalable and interactive prior for broad full-body behavior. We introduce EgoPriMo (Egocentric Motion Prior for Humanoid Robots), a unified framework that learns such priors from egocentric human demonstrations. Given egocentric observations and a text prompt, EgoPriMo reconstructs, generates, and forecasts SMPL-based full-body motion. Language is used as a high-level control signal rather than a complete motion specification. At the core of EgoPriMo is a Triple-stream DiT that jointly models body dynamics, egocentric visual context, and text; task-conditioning masks route different tasks and missing-modality data through the same checkpoint. Experiments on Nymeria and EgoExo4D show that one checkpoint improves egocentric motion generation over UniEgoMotion while supporting reconstruction and forecasting; the generated SMPL motions can also be executed by a Unitree humanoid controller. These results indicate a practical path from scalable egocentric observations to generalizable and interactive humanoid motion priors.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01