新着研究 / Computer Vision
位置・回転・欠測を一つのモデルへ渡すOmniPoser、疎なセンサーから全身動作を一段で復元
OmniPoser
OmniPoserの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : From dedicated specialist models to one unified framework. Left: Existing approaches require a dedicated architecture for each sensor configuration (e.g. partial-body keypoints (RoHM), head-mounted 6-DoF (EgoAllo), sparse IMUs (SIP/RobustCap)), making every new modality a re-engineering effort. OmniPoser incorporates all of them with one flow-matching backbone and training recipe, recovering full-body SMPL motion from different sensor configurations via the msaked design. Right: Accuracy–FPS performance across three settings. Each baseline (circle) is plotted; OmniPoser (star) matches or surpasses baseline methods at > > 700 FPS with lower Mean Per Joint Position Error (MPJPE).
概要
- 関節位置、IMU回転、頭部姿勢などの異なる観測を、マスク付き条件として同じ生成器へ入力する。
- 欠測をゼロで埋めず関節ごとの学習表現に置き換え、欠けた部位の識別を保つ。
- 一段のフローマッチング推論で700FPS超を報告するが、設定専用版と統一版の評価結果は分けて読む必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OmniPoserの仕組み
- 01部分的な位置と回転
- 02関節別の欠測表現
- 03一段の条件付き生成
- 04全身姿勢と移動軌跡
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OmniPoserは、少数のセンサーで観測した位置や回転から、人の全身の三次元動作を補うモデルだ。頭部の位置姿勢、慣性センサーの向き、映像から得た関節点など、利用できる観測の組合せが変わっても同じ枠組みへ入力する。
実環境では遮蔽や通信切断で一部の信号がなくなる。特定の配置専用のモデルでは構成変更のたびに作り直しが必要になりやすい。研究は欠けた観測を明示しながら、反復生成の負担も減らすことを狙っている。
手法
異なるセンサーからの情報を共通の人体表現へそろえ、各関節で位置や回転が観測できるかをマスクとして渡す。欠測を単にゼロへ置くと、どの関節が欠けているかを区別しにくい。そこで欠けた関節ごとに学習可能な埋め込みへ置き換えるMasked Conditioning Encoderを使う。
生成側は全身の姿勢と移動を分けた二つの流れを持つ。条件付きフローマッチングにより、雑音を観測に合う動きへ移す方向を学び、推論では常微分方程式の一段の積分で動作を得る。たとえば頭部だけが見える場合も、観測されない脚を明示して全身のSMPL人体モデルの動きを生成する。
新規性
特徴は、センサー種類と関節の欠測を、一つの条件付け問題としてまとめる点だ。欠けている場所の意味を保持する表現と、高速な一段生成を組み合わせる。
マスクや全身と移動の分離自体には先行研究があり、本文もその関係を述べている。単に観測点を落として頑健化するだけでなく、関節位置、回転、頭部姿勢など異種入力を統一した構成へ拡張する。
従来手法との違い
比較対象には部分関節から復元するRoHMやHuMoR、頭部だけを使うEgoAllo、慣性・視覚融合の方式などを含む。設定専用に学習するOurs-Sと、複数配置を混ぜて学習するOurs-Uを分けている。
統一版と専用版を同じものとして扱うと、柔軟性の効果と設定への特化を混同する。頭部への位置合わせなどで比較対象が優れる指標もあり、全身誤差一つだけで全面的な優位とは言えない。
実験結果
著者らは、上半身の位置を与えるAMASSの設定で、専用版の平均関節位置誤差32.1mmを報告した。RoHMは34.8mm、HuMoRは88.0mmだった。統一版は36.7mmで、専用版の値とは異なる。
頭部のみのAMASSでは専用版83.2mm、統一版86.2mm。処理速度は700FPS超とする。本文の実験構成では五つのデータ集合の定量評価と、3DPWおよびEgo-Exo4Dの定性的な表示を区別しており、七つすべての定量比較ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業教育用のアバターで、頭部装置と少数の装着センサーから動きを可視化する。入力は位置、回転、欠測マスクで、出力は全身の姿勢と移動軌跡にする。
担当者は実測した部位と推定した部位を区別して確認し、センサーが抜けた際に動きが不自然に飛ばないか調べる。見えない足の動きを測定した事実として扱わず、動作記録の補完候補として使う案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：全身の参照動作を持つ小規模データから、実際に使うセンサー配置だけを残す。専用モデルと統一モデルに同じ欠測を与え、関節位置誤差、足滑り、床への貫通、時間方向の揺れを比較する。
欠測率とセンサー雑音を段階的に増やし、誤差が急増する条件を調べる。生成器だけのFPSと、観測抽出や通信を含む表示遅延を別々に測る。複数の生成結果が出る場合は、自然さと真の動作への一致を分けて評価する。
限界と課題
疎な観測からの全身復元は解が一つに定まらず、自然に見える動きが実際の脚の動きと一致するとは限らない。本文もこの問題が不良設定であることを出発点としている。
編集上の課題は、センサー構成変更時の未知配置と、統一版で未提示の評価を確認することだ。報告速度を任意の端末での速度と読み替えない。専用版の良い値をそのまま一つの統一チェックポイントの成績として紹介しない配慮も必要になる。
出典
元のタイトル・要旨を確認する（英語）
OmniPoser: Flexible Human Motion Recovery in the Wild with Masked Flow Matching
Recovering 3D human motion from sparse wearable sensors is challenging due to the inherent noise, occlusion, and instability of real-world tracking signals. Existing approaches are restricted to fixed sensor configurations and, when built on diffusion models, are computationally prohibitive for real-time deployment. We propose OmniPoser, a universal framework that recovers full-body SMPL motion from a flexible combination of heterogeneous inputs, such as 3D keypoints, sparse IMU rotations, head-mounted 6-DoF poses, or any subset thereof, within a single model. OmniPoser introduces a cross-modal masking mechanism paired with a Masked Conditioning Encoder, enabling one architecture to incorporate diverse sensor configurations through a masked design. A decoupled dual-stream generative backbone generates complete motion via Conditional Flow Matching, requiring only a single ODE integration step at inference. Across three settings and seven benchmarks, including in-the-wild Nymeria and Ego-Exo4D datasets, OmniPoser performs on par with state-of-the-art methods while running at over 700 FPS. The project page is available at https://jamesbridgewater51.github.io/omniposer-eccv/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-15