新着研究 / Robotics / Generative AI
AutodidactWAM：生成動画から手の軌道を取り出し、ロボット動作を学び直す
AutodidactWAM
AutodidactWAMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Cosmos generates its own action supervision. 1. generate a self-distillation pair: one anchor frame, prompt, and seed are passed through Cosmos 3; the generated video becomes the teacher for the next step. 2. One rollout, two action trajectories: (A) RoboHaMeR + {+} IK read the generated video itself to recover an action trajectory a ^ \hat{a} — the preferred supervision; (B) the same joint generation’s native action tokens a − a^{-} remain mis-targeted despite sharing the same rollout. 3. Fine-tune action-related layers: the preferred target a + = 0.8 a ^ + 0.2 a 0 a^{+}=0.8\,\hat{a}+0.2\,a_{0} and the rejected a − a^{-} , together with the teacher-forced video, self-distill only the action-related layers, with every other weight frozen and no teleoperation demonstrations involved. 4. Physical outcome: before fine-tuning the native prediction approaches the object but fails contact and leaves it behind; after fine-tuning the same model’s output moves toward a + a^{+} and can complete the grasp in successful trials, and the updated policy seeds the next round.
概要
- 動画は自然でも動作が外れる世界行動モデルを、動画由来の教師信号で修正する。
- 手姿勢推定と逆運動学で軌道を復元し、動作に関係する層だけを更新する。
- 選好学習だけは実機成功率0%で、教師あり学習と軌道の拘束を加えた構成が最良だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AutodidactWAMの仕組み
- 01観察画像と指示
- 02動画と動作の生成
- 03手姿勢と軌道の復元
- 04動作層の追加学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AutodidactWAMは、一つのモデルが出した動画とロボット動作の食い違いを、動画から作る教師信号で修正する方法だ。世界行動モデルは観察と指示から将来の映像と動作を同時に予測するが、映像が自然でも実機が対象をつかめるとは限らない。
著者は新しい人型ロボットへCosmos 3を適応した際、生成動画は作業を表しても、動作側の狙う位置が外れる問題を観察した。追加の遠隔操作例を集め続けず、より良い映像側の情報で動作を学び直せるかを調べる。
手法
モデル自身の動画に手姿勢推定を適用し、逆運動学で関節軌道を復元する。逆運動学とは目標の手位置や姿勢から、それを実現する関節の角度を求める計算である。推定器は合成描画による一度の適応を行い、その後の課題ごとの遠隔操作データを必要としない設計とする。
復元軌道を元の予測と混ぜた好ましい目標と、同時生成した元の動作を対にして学ぶ。動画は固定の条件として与え、動作に関係する層だけ更新する。良い軌道を選ぶDPO、目標へ合わせる教師あり学習、位置軌道をDTWで合わせる項を比較し、更新後のモデルから対を作り直す。
新規性
別の動画計画器でロボットを直接操るのではなく、同じモデルの動画出力を使って、そのモデルの動作出力を修正する自己蒸留が中心だ。自己蒸留は自身の出力を教師に使う学習で、ここでは強い映像側から弱い動作側へ情報を移す。
動作を好ましいものと元の予測に対比しながら、映像側を変更しない。実機での報酬学習ではなくオフラインの軌道学習を行い、多指の手に合わせた姿勢復元を接続する点が特徴である。
従来手法との違い
比較対象は適応後の元の動作、動画から復元した動作、教師ありの再ラベル学習、Flow-DPO単独と複数目的を組み合わせた学習である。動画からの復元を実行する条件と、学び直したモデル自身が動く条件は区別する必要がある。
DPOは良い出力を悪い出力より選ぶ学習だが、この実験では対の識別が高精度でも実機成功に結び付かなかった。目標軌道への一致と、手の空間軌道を固定する項を加える構成が、試した中で最も良い結果だった。
実験結果
Unitree G1とBrainCoの五指ハンドで閉ループ試験を行い、接触前の姿勢、把持、移動完了を累積段階として評価した。元の動作は約17%、10%、7%、動画から復元した動作は約75%、47%、42%の成功率だった。
DPO+SFT+DTWで学んだ方策は訓練対象Oreoで接触前90%、全課題20%、未使用対象で80%、30%と報告する。Flow-DPO単独は検証選好精度1.000でも実機成功率0%だった。各段階や復元経路の数字を混同しない読み方が重要である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：動画と動作を同時予測する把持モデルの、位置ずれを直す研究用工程に使う。入力は卓上の対象画像と把持指示、出力は生成動画から復元した軌道と、修正後の動作予測である。まず単一の作業空間で試す。
開発者は元軌道と復元軌道を比較し、接触前の位置合わせが改善する例を選んで学習へ回す。動画に現れた手が対象をすり抜ける場合などは教師候補から除く。映像の自然さだけで実行可能と扱わない検証工程を含む用途案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：元の方策、復元軌道による実行、教師あり再学習、複合目的の再学習を同じ対象と初期状態で比較する。学習対象と未使用対象を分け、接触前、把持、移動完了の成功をそれぞれ記録する。
手先位置の誤差と軌道の一致を測る一方、実機で対象を持ち上げたかも確認する。対の選好精度だけを停止条件にせず、失敗動画と関節軌道を照合する。姿勢推定の誤りと制御の誤りを切り分け、修正した教師の品質を点検する。
限界と課題
著者は生成動画にも幻覚が残ると述べ、映像の自然さと制御に必要な物理的一致の差を扱っている。最良の学習でも全課題成功率は対象により20〜30%であり、把持前の高い成功率だけで作業完成を評価できない。
編集上の確認事項は、別の手、接触条件、隠れた指でも姿勢復元が正しいか、少ない試行のばらつきがどれほどかである。追加の課題別遠隔操作を使わないという範囲と、一度の機体適応に必要な準備は区別して導入負担を見積もりたい。
出典
元のタイトル・要旨を確認する（英語）
AutodidactWAM: Cross-Modal Self-Distillation from Generated Video to Robot Actions
World-action models (WAMs) such as Cosmos 3 jointly generate future video and robot actions from an observation and instruction. Adapting one such model with a lightweight LoRA fine-tune to a previously unseen robot, a Unitree G1 humanoid with five-fingered BrainCo hands, exposes a video-action asymmetry: the video renders plausible task executions, while the co-generated action is systematically mis-targeted. We evaluate closed-loop real-robot trials at three cumulative stages: pre-grasp, grasp, and pick-and-place. The native action succeeds only approximately 17%, 10%, and 7% of the time, respectively, and performs worse on held-out objects. We propose AutodidactWAM, a hand-pose estimator trained without teleoperation, followed by inverse kinematics, that runs on the model's generated video to recover action estimates. Paired with the native prediction, these recovered actions provide preferred targets for fine-tuning only the action-related layers, while the generated video is teacher-forced. We compare supervised relabeling with a rectified-flow adaptation of Diffusion-DPO. After one-time embodiment adaptation, self-distillation requires no additional task-specific teleoperation. The recovered-action gate reaches approximately 75%, 47%, and 42% pre-grasp, grasp, and pick-and-place success, compared with 17%, 10%, and 7% for the native action. A hybrid objective combining preference supervision, supervised target fitting, and Cartesian trajectory anchoring (DPO+SFT+DTW) performs best: on Oreo, the training object, it reaches 90% pre-grasp and 20% full-task success; on a held-out object, it reaches 80% and 30%. Plain Flow-DPO reaches 0% success despite 1.000 validation preference accuracy, indicating that the combination of training objectives, rather than the contrastive objective alone, drives the observed gains.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-07