アーカイブ / Computer Vision / Generative AI
一つの動画で隠れた人体の形まで補うSOAR
SOAR
SOARの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Relation to existing problems. Our problem requires combining human reconstruction from video frames and human generation for occluded regions.
概要
- SOARは一つの人物動画から共通の三次元モデルを作り、映らない部分を生成モデルで補う。
- 著者らのDNA-Rendering評価では、別視点のPSNRがSOARで23.16、比較したGARTで21.89だった。
- 未観測部分は推定であり、実際の外見との一致を用途ごとに確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SOARの仕組み
- 01人物の単眼動画
- 02輪郭と姿勢を推定
- 03表面モデルを再構成
- 04隠れた部分を補完
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
一台のカメラで撮った人物動画では、背中や腕の裏側が最後まで映らないことがある。単眼、つまり一つの視点から立体を復元すると、見えていない部分の形と色には複数の候補が残る。
従来の動画再構成は全身が十分見えることを前提にする場合があり、即興で撮影した映像では条件が合わない。SOARは、観測できた部分と推定で補う部分を組み合わせ、動かせる全身モデルを作る。
手法
まず各フレームから人物の輪郭、関節の位置、体の姿勢、表面が向く方向を推定する。人物の形は、小さな円盤状の面であるサーフェルを多数並べて表す。動画の画像と推定した表面方向に合うよう、全フレームに共通の人体モデルを調整する。
初期モデルでは観測の足りない領域が残るため、画像生成モデルが示す別視点の見え方を手掛かりに形と色を調整する。この調整をスコア蒸留と呼ぶ。例えば正面中心の動画から背面も表示できるモデルを作れるが、背面は撮影事実ではなく推定結果である。
新規性
SOARは、動画から見える部分を合わせ込む再構成と、見えない部分を補う画像生成を一つの人体表現に組み合わせる。各フレームを別々の立体にするのではなく、姿勢を変えて動かせる共通のモデルを作る。
表面の向きを読み取りやすい小さな面の表現を使い、背面の形の手掛かりと生成モデルを順に適用する点が、自己遮蔽の多い動画への対応策となる。
従来手法との違い
動画の再構成法GARTとGaussianAvatarは、観測が少ない部分の形や色を推定しにくい。写真から立体を作るSiTHは一枚の画像を入力とするため、動画の異なる時点の情報を一つの人物像へ統合する用途では不利になる。
SOARは動画全体で一つの人体表現を調整し、見えた部分を保ちながら隠れた部分を生成で補う。並行研究HAVE-FUNとの比較では、測定項目ごとに結果が異なり、全面的な優位とは言えない。
実験結果
著者らはDNA-Renderingの七系列を使い、一台のカメラの動画から学習して、未使用の四視点を再現する条件で比較した。画像の一致度を測るPSNRはSOARが23.16、GARTが21.89、GaussianAvatarが21.97、SiTHが17.84だった。知覚的な差を測るLPIPSは低いほどよく、SOARが0.055だった。
隠れた領域のPSNRはSOARが14.54、GARTが12.86と報告する。一方、FS-XHumansでのHAVE-FUN比較ではSOARのPSNRとSSIMが高いが、LPIPSはHAVE-FUNの方が低い。評価素材や指標によって結論は変わる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：人物が一方向から多く撮られた紹介動画から、確認用の三次元アバターを試作する。入力は一人が動く短い動画で、出力は向きを変えて表示できる人物モデルとする。制作担当者が背面や隠れた服の形を原映像と照らして点検する。
見えなかった部分は生成による推定なので、実在の姿を記録したものとして扱わない。映像制作の下書きとして使い、本人確認や事実の再現が必要な用途には流用しないという運用を想定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同意を得た人物の動画と、別視点から撮った確認映像を用意する。一視点だけを入力し、SOARと動画再構成法を同じ条件で実行する。映っていた領域と最後まで隠れた領域を分けて比べる。
別視点画像のPSNRやLPIPSに加え、服の模様、体の輪郭、姿勢を変えたときの破綻を制作担当者が確認する。生成された背面を正解映像と照合し、見た目がもっともらしいだけの補完を採用しない。
限界と課題
著者らは、従来の評価素材では身体の約九割が観測され、強い自己遮蔽の評価に十分でないと指摘して別の評価分割を作った。インターネット動画については主に見た目の比較であり、実際の隠れた背面の正解を直接測れない。
編集上の確認点は、生成した未観測部分が人物固有の服装や体形と一致するか、速い動きやぼけで姿勢推定が崩れた場合の影響、動画全体で色や形が安定するかである。画質指標が良くても本人らしさを保証しない。
出典
元のタイトル・要旨を確認する（英語）
SOAR: Self-Occluded Avatar Recovery from a Single Video In the Wild
Self-occlusion is common when capturing people in the wild, where the performer do not follow predefined motion scripts. This challenges existing monocular human reconstruction systems that assume full body visibility. We introduce Self-Occluded Avatar Recovery (SOAR), a method for complete human reconstruction from partial observations where parts of the body are entirely unobserved. SOAR leverages structural normal prior and generative diffusion prior to address such an ill-posed reconstruction problem. For structural normal prior, we model human with an reposable surfel model with well-defined and easily readable shapes. For generative diffusion prior, we perform an initial reconstruction and refine it using score distillation. On various benchmarks, we show that SOAR performs favorably than state-of-the-art reconstruction and generation methods, and on-par comparing to concurrent works. Additional video results and code are available at https://soar-avatar.github.io/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29