アーカイブ / Computer Vision / Generative AI
単眼動画と静止メッシュから、頂点の対応を保つ3Dアニメーションを作るBLARM
BLARM
BLARMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Method overview. BLARM takes a canonical mesh and a monocular video as input and represents the animation using a compact set of latent rigid motion components. Geometry-aware latents are conditioned on frame-wise DINOv3 features to predict time-varying rigid transformations, while time-invariant vertex-to-component skinning weights are learned without explicit skinning supervision . The final animated sequence is obtained by blending the predicted transformations through linear blend skinning.
概要
- 単眼動画と静止3Dメッシュから、頂点対応を保ったアニメーションを予測する。
- 少数の剛体運動を頂点ごとに固定した混合比で合成し、骨格や部位ラベルの指定を要しない。
- 著者らは形状精度と時間方向の一貫性の改善を報告するが、確認できた本文には評価指標や数値結果がない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、BLARMの仕組み
- 01単眼動画と静止メッシュ
- 02形状・映像特徴の取得
- 03剛体運動と混合比の推定
- 04頂点を動かしたメッシュ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
BLARMは、単眼動画に写る物体の動きを静止3Dメッシュに移す方法である。メッシュは物体の表面を頂点と面で表した形状を指す。各時刻で同じ頂点を追えれば、後から動きを確認・編集しやすい。
頂点ごとに独立した動きを予測すると、扱う値が多くなる。一方、あらかじめ用意した骨格が動画中の曲がり方に合うとは限らない。動画固有の動きを捉えながら、時刻をまたいで頂点の対応を保つ表現が課題となる。
手法
入力は単眼動画と基準となる静止メッシュで、出力は各時刻の頂点位置を持つアニメーションである。形状の特徴を少数の運動候補にまとめ、各フレームの映像特徴と結び付ける。注意機構とは、特徴同士の関係に応じて参照先を選ぶ計算であり、BLARMは同じフレーム内の候補同士、続いて時刻をまたぐ同じ候補の関係を捉える。
各候補から回転と移動を予測し、各頂点には局所運動を受ける割合を割り当てる。この割合は動画中で固定し、局所運動を混ぜた後に物体全体の運動を適用する。例えば開閉部の頂点には、その動きに対応する成分が強く作用する。学習には正解の頂点軌跡を使い、位置のずれに加え、少数の成分への割り当てと動きが似た頂点のまとまりを促す。
新規性
BLARMは、動画に応じて変わる少数の剛体運動と、各頂点に付く時刻を通じて固定の混合比を組み合わせる。物体全体の移動・回転には専用の成分を使い、残りの成分で局所的な動きを表す。
骨格、関節の種類、部位ラベルを指定せずに、対象の形状と動画に応じた運動表現を推定する点が著者らの主張する進歩である。元のメッシュの頂点を動かす構成なので、各時刻の頂点対応を保てる。
従来手法との違い
形状を中心に骨格や変形構造を推定する手法では、その構造が対象動画固有の動きに合わない場合がある。頂点の移動量を直接予測する手法は複雑な変形を扱える一方、予測する量が多いと著者らは説明する。
BLARMは、動画に合わせて剛体運動の成分を推定し、固定の混合比を使って頂点を動かす。また、フレームごとに別の形状を作って後から頂点を対応付ける方式と異なり、同じメッシュを全時刻で使う。これらは表現方法の比較であり、性能差の数値は確認できない。
実験結果
著者らは、複数のアニメーション手法との実験で形状精度と時間方向の一貫性が改善したと述べる。学習時には正解のアニメーション付き頂点位置を使い、予測軌跡とのずれを測る。これは学習信号の説明であり、評価指標や比較結果の数値を示すものではない。
確認できた本文の範囲では、評価用データセット名、データ分割、評価指標の定義、比較表と数値結果は示されていない。静止メッシュには正解形状を使う実験条件と、動画の最初のフレームから再構成する条件が記されているが、どの報告結果が各条件に対応するかは確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：開閉する商品模型の静止3Dメッシュに、実物を単眼で撮影した動画の動きを付ける。入力は対象商品に対応するメッシュと、可動部が見える動画。出力のアニメーションを元動画と並べ、開閉の時刻や形状のずれを担当者が確認する。
推論時に正解の頂点軌跡や部位ラベルを渡す構成ではない。ただし、同種の商品向けに学習や追加調整を行うなら、動画と対応する正解3D頂点軌跡が必要になる。部位ラベルは必須ではなく、撮影には単眼動画を得る手段が要る。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物の単眼動画、対応する静止メッシュ、評価用の正解3D頂点軌跡を少数そろえる。既存モデルを適用する際に部位・骨格ラベルは必須入力ではない。対象に合わせて学習または追加調整する場合は、動画と正解軌跡が対応する訓練データを別に用意する。
同じメッシュを動かさない結果を比較基準にし、同じ動画区間で予測頂点と正解頂点の位置のずれ、可動部の追従、隣接フレーム間の不自然な跳びを記録する。単眼撮影の条件もそろえる。メッシュを画像から再構成する運用なら、正解メッシュを使う条件と分けて結果を確認する。
限界と課題
著者らが明示した失敗条件は、確認できた本文の範囲では特定できない。固定数の剛体運動を混ぜる構成が、対象物のあらゆる変形を表せるとは示されていない。静止メッシュを動画の最初のフレームから再構成する場合、その品質も結果の解釈に関わる。
編集上の検証事項は、遮蔽や画角の変化がある動画、柔らかく変形する部位、入力メッシュと実物の形状差での挙動である。評価表と数値が確認できないため、比較手法に対する改善幅や、静止メッシュの入手方法ごとの差は判断できない。
出典
元のタイトル・要旨を確認する（英語）
BLARM: Animating 3D Objects from Video via Blending Latent Rigid Motion Primitives
We introduce BLARM, a feed-forward method for video-driven 3D mesh animation. Given a monocular video and a static object mesh, BLARM predicts a temporally coherent animated mesh whose motion follows the video. Rather than relying on explicit rigs or directly regressing high-dimensional vertex motion, we represent animation using a compact set of learned, time-varying rigid motion components and time-invariant vertex-to-component skinning weights. This yields a low-dimensional deformation space without requiring skeletons, cages, skinning weights, or rig annotations. Our architecture conditions geometry-derived deformation latents on video features through factorized spatial-temporal attention, then decodes rigid transformations blended by predicted skinning weights. Trained with trajectory reconstruction, entropy regularization, and motion-aware contrastive learning, BLARM produces accurate and temporally stable animations while recovering compact, interpretable motion structure from monocular video.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01