アーカイブ / Robotics / VLM
一人称動画から物体の動きを抽出し、ロボットの事前学習に使う
EgoScaler-based VLA pre-training
EgoScaler-based VLA pre-trainingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Comparison of conventional VLA pre-training sources and ours. We leverage egocentric videos without auxiliary labels for VLA pre-training. Using EgoScaler [ 1 ] to extract 6DoF object manipulation trajectories, we construct a large-scale dataset. The multi-camera example is adapted from [ 2 ] .
概要
- EgoScalerで一人称動画から物体の位置と回転の軌跡を抽出し、選別後の45,157件でVLAを事前学習した。
- ALOHA実機の四課題では、提案データ単独が21/40回、BridgeData V2との併用が27/40回完全成功した。
- 動画由来の軌跡には検出や位置合わせの誤りがあり、導入時には抽出品質と実機での把持・配置を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EgoScaler-based VLA pre-trainingの仕組み
- 01一人称作業動画
- 02物体の姿勢を追跡
- 03軌跡の選別と平滑化
- 04VLAの学習
- 05ロボット行動列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
視覚・言語・行動モデル（VLA）は、画像や言語指示からロボットの行動を予測する。多様な操作を学ぶには実演が要るが、人がロボットを直接操作して集める方法には労力がかかる。
作業者の視点で撮った一人称動画には、物体を動かす様子が写る。ただし動画にはロボットの行動記録がなく、従来の活用法には手の姿勢などの補助記録を要するものもある。動画から学習に使える動きを取り出せるかが課題だった。
手法
EgoScalerは、まず動画内の操作区間と対象物を特定し、画像上の対象物の領域と三次元の点を追跡する。続いて撮影者の移動を補正し、連続する物体の点群から回転を求める。出力の6DoF軌跡とは、物体中心の三方向の位置と三方向の回転を時系列で表したものだ。例えば野菜を容器へ移す動画なら、野菜の位置と向きの変化を記録する。
著者らは、異常に長く動く軌跡と背景に似た動きの軌跡を除外し、位置の揺れを平滑化した。画像、指示文、軌跡でπ0構成のVLAを事前学習し、ロボット固有の実演で追加学習する。動画での学習には軌跡の時点間の変化を行動の代用に使い、実行時には画像、指示、機体の状態から次の行動列を予測する。
新規性
著者らの主張する前進は、手の姿勢などの補助記録を使わず、一人称動画から物体の位置と回転を表す軌跡を抽出し、VLAの事前学習に使った点にある。既存のEgoScalerを四つの動画データセットに適用した。
さらに、位置合わせや物体検出の誤りに由来する軌跡を規則で除外し、位置の揺れを平滑化した。選別後の45,157件を、画像、言語指示、物体の軌跡を組にした学習データとした。
従来手法との違い
比較の基準は、課題ごとのロボット実演だけで学習する「ゼロからの学習」である。提案法は同じπ0構成を動画由来のデータで事前学習してから調整する。補助記録なしの動画から潜在的な行動表現を学ぶLAPAも、同じπ0構成で比較した。
ALOHA実機の四課題では、提案データ単独が21/40回成功した。ロボットデータによる事前学習はBridgeData V2が17/40回、BC-Zが19/40回、Fractalが22/40回で、提案データとBridgeData V2の併用は27/40回だった。順位はこの評価条件での結果である。
実験結果
著者らはEgo4D、Ego-Exo4D、HD-EPIC、Nymeriaから得た124,559件を選別し、45,157件を残した。SIMPLERの四つの把持・配置課題では、追加学習用に各25件の成功例を集め、各課題200回試行した。ALOHA実機の四課題では各200件、計800件の実演で追加学習し、各課題10回試行した。
実機の完全成功回数は提案データ単独が21/40回、ゼロからの学習が成功率0％だったと著者らは報告する。背景との動きの類似度による選別閾値を0.7とした条件では、SIMPLERの平均成功率が26.0±5.9％、実機の評価値が55.0±6.1％だった。実機の後者は正しい把持と配置を各0.5点とする採点値で、完全成功回数とは異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場で指定された小物を容器へ移す一作業を対象に、作業者の一人称RGB動画、対象物と置き先を明示した指示文を集める。動画から対象物の軌跡を抽出し、カメラ画像と指示に対応する動きとしてVLAを事前学習する。
対象ロボットでは、カメラ画像、機体の状態記録、正しい把持と配置を含む成功実演を別に収集して調整する。出力は次のロボット行動列とし、指定物を指定先へ置けたかを実機で確かめる。作業への効果は検証を要する仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物と置き先を限定し、一人称RGB動画、対象物と置き先を記した指示文を集める。三次元軌跡の復元に必要なカメラの内部情報を確認し、なければ推定できるか確かめる。軌跡を抽出して不自然な動きと除外率を記録し、一部は人が位置と向きを点検する。
対象ロボットのカメラ画像、機体の状態記録、正しい把持と配置を示す成功実演も収集し、追加学習に使う。同じ実演だけで学ぶ基準モデルと動画による事前学習を加えたモデルを、同じ試行条件で比較する。正しい物体の把持、指定先への配置、完全成功を別々に数える。
限界と課題
著者らは、物体検出と点群の位置合わせの誤りで不正確な軌跡が生じると報告し、大きく飛ぶ軌跡や背景と似た動きの軌跡を除外した。また、シミュレーションでデータを増やしても改善が限られた理由として、動画との見た目の差を挙げている。
編集上の検証事項は、現場動画での軌跡の正確さ、選別後に残る作業例の量、実機の把持と配置への転用である。動画から得る行動にはグリッパーの開閉状態が含まれないため、その動作はロボット実演による調整と実機試行で確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Developing Vision-Language-Action Model from Egocentric Videos
Egocentric videos capture how humans manipulate objects and tools, providing diverse motion cues for learning object manipulation. Unlike the costly, expert-driven manual teleoperation commonly used in training Vision-Language-Action models (VLAs), egocentric videos offer a scalable alternative. However, prior studies that leverage such videos for training robot policies typically rely on auxiliary annotations, such as detailed hand-pose recordings. Consequently, it remains unclear whether VLAs can be trained directly from raw egocentric videos. In this work, we address this challenge by leveraging EgoScaler, a framework that extracts 6DoF object manipulation trajectories from egocentric videos without requiring auxiliary recordings. We apply EgoScaler to four large-scale egocentric video datasets and automatically refine noisy or incomplete trajectories, thereby constructing a new large-scale dataset for VLA pre-training. Our experiments with a state-of-the-art $π_0$ architecture in both simulated and real-robot environments yield three key findings: (i) pre-training on our dataset improves task success rates by over 20\% compared to training from scratch, (ii) the performance is competitive with that achieved using real-robot datasets, and (iii) combining our dataset with real-robot data yields further improvements. These results demonstrate that egocentric videos constitute a promising and scalable resource for advancing VLA research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01