アーカイブ / Computer Vision
指が隠れた手の姿勢を、手の甲の変化から推定するDeltaDorsal
DeltaDorsal
DeltaDorsalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Egocentric hand pose estimation is a challenging problem due to frequent occlusion of the fingers (a). Leveraging recent advances in dense visual featurization, DeltaDorsal enables 3D hand pose estimation using purely visual signals from the dorsum of the hand (b). By comparing visual features from a neutral and current hand pose, DeltaDorsal isolates skin deformation and uses these signals to predict hand posture, outperforming “State of the Art” (HaMeR ( Pavlakos et al., 2023 ) ) models that rely on geometric representations of the full hand (c). Visualization of the system in action. On the left is someone in a VR headset performing a pinch with a popup showing the headset cameras view of the hand with the fingers occluded by the palm. On the bottom is a reference picture of the hand in a neutral position (a). Dorsal features from both hands are cut out and aligned before being fed into a featurizer which creates image embeddings for each, subtracts them, and feeds all outputs into a change encoder and regression head (b). On the right are images of different camera captures with ground truth. From top down, for an open hand the state of the art (SOTA) predicts a circle gesture while DeltaDorsal predicts a grasp. For ring finger pinch, the SOTA predicts all fingers curled in while DeltaDorsal predicts only the ring finger pinching. For an index tap, SOTA predicts a grasp while DeltaDorsal predicts an index tap. For an index pinch, SOTA predicts a near fist while DeltaDorsal predicts a pinch with slightly more distance between the index and thumb.
概要
- 力を抜いた手と動作中の手の甲を比べ、皮膚の見た目の変化から関節角度を推定する。
- 著者らは、指が50％以上隠れた条件でMPJAEが比較対象の先行手法より18％低いと報告した。
- 12人・17種類の動作から172,222フレームを収集したが、撮影時のカメラは固定されていた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DeltaDorsalの仕組み
- 01基準・動作中の手画像
- 02手の甲を位置合わせ
- 03画像特徴の差を解析
- 04関節角度を推定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
頭部側のカメラで手を撮るXRでは、指先が手のひらや別の指に隠れる。指の見た目に頼る姿勢推定が誤ると、手の形に応じた操作判定にも影響する。
著者らは既存の一人称視点データを調べ、指が大きく隠れていても手の甲は見える場合があると報告した。そこで、指の輪郭に加え、曲げ伸ばしで変わる手の甲の皮膚を手掛かりにする。
手法
入力は、力を抜いた手の基準画像と動作中の画像である。まず既存の手姿勢推定モデルHaMeRの予測を使って、両画像の手の甲を位置合わせして切り出す。DINOv3は、それぞれの画像を細かな見た目を表す数値の集まりである「画像特徴」に変える。
次に、両画像の特徴、特徴同士の差、似ている度合いを変化の読み取り部分へ渡し、各関節の角度を推定する。例えば指先が手のひらに隠れたつまみ動作でも、基準時からの手の甲の変化を読む。推定角度は、事前に求めた手の形状情報と合わせ、手の立体形状に変換することもできる。
新規性
著者らは、頭部側から撮る一人称視点の手姿勢推定で、手の甲の皮膚の変化を直接使う手法としてDeltaDorsalを提案する。指が手のひらに隠れても、見えている手の甲から関節角度を推定する狙いだ。
力を抜いた手を基準に、動作中の画像との特徴の差を読む構成が中核にある。著者らは、手が目立って動かない状態で力を加える「クリック」の検出も示している。
従来手法との違い
比較対象のHaMeRとHandOccNetについて、著者らは指の見える割合が下がるほど関節角度の誤差が増える傾向を報告した。HaMeRは手の立体形状を推定するモデル、HandOccNetは遮蔽を扱う手の形状推定モデルである。
DeltaDorsalは、切り出した手の甲と基準画像の特徴差を姿勢推定に使う。ただし、切り出しと位置合わせの初期推定にはHaMeRを使うため、比較結果をHaMeRから完全に独立した処理の性能とは読めない。
実験結果
著者らは12人の右手で17種類の動作を収集し、関節角度の正解を付けた172,222フレームを作成した。撮影時はカメラを固定し、手は約20cm離した。著者らは、指が50％以上隠れた条件で、手の甲の切り出し画像を使う提案手法のMPJAEが比較対象の先行手法より18％低いと報告する。MPJAEは関節ごとの角度の平均誤差で、小さいほど正解に近い。
別の分析では、既存の一人称視点データ4件すべてで、少なくとも1本の指が90％超隠れた画像があり、その条件で手の甲が見える割合の中央値は各データで40％を超えた。確認できた本文の範囲では、18％の比較に用いた評価分割や比較対象ごとの数値は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：XR画面で、人差し指と親指をつまむ操作の判定を補助する。対象カメラで撮った動作中の手と利用者の力を抜いた手を入力し、推定した関節角度から操作の開始と終了を判定する。判定結果と誤入力を記録する。
適用には、そのカメラで撮った学習用映像、利用者ごとの基準画像、関節角度の正解ラベル、つまむ操作の開始・終了ラベルが要る。正解を得る計測手段を用意し、撮影位置と利用者に合わせて位置合わせと推定器を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のXRカメラで、利用者ごとの力を抜いた右手と、つまむ動作中の手を撮る。正解用の計測手段で関節角度を記録し、学習用と評価用に分ける。撮影条件に合わせて位置合わせと推定器を調整し、同じ評価映像でHaMeRとのMPJAEを指の隠れ具合別に比べる。
操作の開始・終了にもラベルを付け、誤検出と見逃しを数える。必要なセンサーは対象カメラと関節角度の正解を得る計測手段である。照明や手の位置を変えた映像も集め、基準画像の撮り直しが必要になる条件を調べる。
限界と課題
著者らは、収集した17種類の動作が取り得る手の姿勢の一部に限られると認めている。収集時のカメラは固定され、参加者は右手をカメラから約20cmの位置で動かした。移動中の撮影でも同じ結果になるとは示されていない。
編集上の検証事項は、頭の動きによるぶれ、照明の変化、手の甲自体が隠れる場合への耐性である。基準画像を撮り直す条件と、HaMeRによる初期の位置合わせが外れた際の誤差も、導入先で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
DeltaDorsal: Enhancing Hand Pose Estimation with Dorsal Features in Egocentric Views
The proliferation of XR devices has made egocentric hand pose estimation a vital task, yet this perspective is inherently challenged by frequent finger occlusions. To address this, we propose a novel approach that leverages the rich information in dorsal hand skin deformation, unlocked by recent advances in dense visual featurizers. We introduce a dual-stream delta encoder that learns pose by contrasting features from a dynamic hand with a baseline relaxed position. Our evaluation demonstrates that, using only cropped dorsal images, our method reduces the Mean Per Joint Angle Error (MPJAE) by 18% in self-occluded scenarios (fingers >= 50% occluded) compared to state-of-the-art techniques that depend on the whole hand's geometry and large model backbones. Consequently, our method not only enhances the reliability of downstream tasks like index finger pinch and tap estimation in occluded scenarios but also unlocks new interaction paradigms, such as detecting isometric force for a surface "click" without visible movement while minimizing model size.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01