新着研究 / Computer Vision / Robotics
一人称映像から手とカメラを同時推定するInfiniHand:作業軌跡を共通の3次元空間へ
InfiniHand
一人称映像から、共通の3D空間における手の動きを推定する研究の概要です。画面の中での手の位置と、カメラの移動を考慮した空間上の手の軌跡を区別して見てください。
原論文の図の説明を読む
Figure 1: InfiniHand is a streaming feed-forward framework for accurate and efficient world-space hand estimation, pretrained on approximately 5,000 hours of egocentric video. Project page: https://infinihand.github.io/ .
概要
- 手の検出・形状復元とカメラ軌跡を統合し、一人称動画から世界座標の手動作を推定する。
- ARCTICのPA-pはViDiHand比21.4%改善したが、画像上の投影誤差など全指標で優位ではない。
- 過去情報の記憶と疎な幾何補正で累積ずれを抑える構成で、長時間映像での精度確認が実用上の焦点になる。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、InfiniHandの仕組み
- 01一人称のRGB動画
- 02手とカメラの動きを同時推定
- 03共通の3D座標へ変換・補正
- 04作業空間での手の軌跡
たとえば頭が動く映像でも、カメラの移動と手の移動を分け、同じ空間の基準で軌跡を読む。
画像上の手の移動には、手自身の動きとカメラの動きが混ざる。
手の形状とカメラ姿勢を同時に推定して、共通座標の軌跡へ変換する。
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
頭部などに装着したカメラの一人称映像では、手の移動とカメラ自身の移動が同時に写る。画像内の手の位置だけでは、作業空間で実際にどこへ動いたかを判断できず、指の曲がりを含む3次元形状も必要になる。
世界座標とは、カメラが動いても共通の基準で位置を表す座標系である。そこで手の軌跡を復元できれば、人の作業をロボット学習へ利用するための幾何データを整える道が開ける。
手法
入力は事前にカメラ特性を校正していないRGB動画である。まず画像全体から左右の手の領域を推定し、その部分の幾何特徴と見た目の特徴を融合する。次にMANOという手の形状と関節姿勢を少数の数値で表すモデルのパラメータを出力し、手の3次元形状を復元する。
同時に、基準画像、最近の画像、圧縮した軌跡の記憶を用いてカメラ姿勢を推定する。例えば頭を動かしながら物をつかむ映像では、カメラの回転・移動を反映して手を共通座標へ変換する。学習はカメラ基準の手復元から共同推定へ進め、最後に疎なバンドル調整、すなわち選んだ画像間の整合性を使う補正で、カメラ軌跡の累積誤差を抑える。
新規性
主な新規性は、手の位置検出、指の形状復元、カメラ軌跡の推定を、過去の情報を保持する一つの構成で結び付けた点にある。手の細部と映像全体の幾何情報を併用する。
さらに、約5,000時間の公開一人称データを統合し、手の復元から世界座標での共同推定へ進む二段階学習を組み合わせた。統合推定に加え、軌跡を補正する処理も備える。
従来手法との違い
比較対象のHaWoRは、手の検出・追跡、手形状の復元、SLAMという自己位置と周辺構造を同時推定する仕組み、距離尺度の推定を組み合わせる。著者らは、こうした分業で検出の揺れや尺度の不整合が後段へ伝わると説明する。
InfiniHandでは手とカメラが情報を共有する。ただし全指標で優位ではなく、ARCTICの画像上の投影誤差EPE-pは23.13で、ViDiHandの12.41より大きい。
実験結果
著者らはARCTICの34場面、HOT3Dの10場面、HOI4Dの166場面、EgoDexの100場面でカメラ基準の推定を評価した。検出漏れへの罰則を含む整列後の関節誤差PA-pは、ARCTICでViDiHandの9.82から7.72へ21.4%低下した。
世界座標で追加整列を行わない関節誤差W-MPJPEは、対応する3データセットすべてで比較手法中最小だった。要旨では毎秒11.19フレーム、HaWoRの2倍超の処理量を報告するが、提供抜粋には速度測定の機器条件がない。Ego4Dでの実環境評価は定性的である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:製造現場の部品取り出し作業を、一人称映像から振り返る支援に使う。入力は作業者の動画、出力は左右の手の3次元形状と、同じ空間基準で表した移動軌跡とする。
担当者は元映像と軌跡を並べて確認し、取り出し位置への接近や持ち替えが繰り返される区間を抽出する。動作の良否を自動判定する前に、頭の動きで見かけ上変わる手の位置を整理する用途として試す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:位置の目安が分かる卓上で、短い取り出し動作を撮影する。カメラを静止させた条件と動かした条件を用意し、同じ動画を既存の手推定・カメラ追跡の組み合わせにも入力する。
手の検出漏れ率、基準点に対する手首位置誤差、開始位置へ戻った際のずれ、処理時間を比較する。動画を長くしたときの誤差増加も測り、短い動作の復元精度と長時間の軌跡維持を分けて判断する。
限界と課題
著者らは、古い画像の詳細な特徴が記憶内で圧縮されるため、長い映像では位置ずれが残ると説明する。その対策が疎な幾何補正であり、ずれが完全になくなるという主張ではない。
編集上の検証課題は、長時間作業、手袋、遮蔽、急な視点変更での誤差と復帰挙動である。また、最初の基準画像に対する世界座標を、工場設備の座標や実寸へ結び付ける精度は別途確認したい。
出典
元のタイトル・要旨を確認する(英語)
InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video
World-space hand motion estimation from egocentric video requires recovering 3D articulated hand geometry while tracking camera egomotion. Existing approaches heavily rely on cascading independent hand pose estimators and SLAM systems, resulting in error accumulation, complex pipelines, and severe computational overhead. To address these limitations, we present InfiniHand, an end-to-end streaming feed-forward framework that jointly estimates MANO parameters, camera trajectories, and hand locations directly from uncalibrated egocentric video. InfiniHand integrates persistent spatiotemporal memory with hand-centered visual features, explicitly coupling camera motion with local hand geometry within a unified architecture. We train InfiniHand in two progressive stages by first learning robust camera-space hand priors and then extending to streaming world-space reconstruction. To support this process, we aggregate a pretraining corpus of approximately 5,000 hours of egocentric data across multiple public datasets. Extensive evaluations demonstrate that InfiniHand outperforms state-of-the-art baselines on in-domain benchmarks, achieving a 21.4% reduction in ARCTIC PA-p compared to ViDiHand while substantially mitigating world-space drift. Furthermore, InfiniHand generalizes robustly to in-the-wild videos and operates at 11.19 FPS, delivering more than twice the throughput of HaWoR.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29




