アーカイブ / Computer Vision / Generative AI
別人に移した動作は伝わるか――人物動画生成3手法を人が評価
Can Pose Transfer Models Generate Realistic Human Motion?
Can Pose Transfer Models Generate Realistic Human Motion?の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Representative examples of frames from UCF101, cropped to fit the layout.
概要
- 3つの動作転写手法が作った動画について、動作の判別と元動画との一致を16人の参加者が評価した。
- 20択の動作判別の正答率は全体で42.92％、元動画と「一致」とされた割合は36.46％だった。
- ExAvatarは本調査で動作判別と一致判定が最も高かったが、対象人物の静止画像ではなく動く動画を要する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Can Pose Transfer Models Generate Realistic Human Motion?の仕組み
- 01参照動作動画と人物素材
- 023手法で動作転写
- 03別人が動く動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動作転写は、参照動画の人の動きを、別の人物が行っているような動画に移す技術である。動作が正しく伝われば、人物を変えた映像の試作などに使える可能性がある。
一方、既存の評価用データでの成績だけでは、異なる動作や人物を使った際に視聴者が内容を読み取れるかは分からない。著者らは生成動画を人に見せ、動作を判別できるか、元動画と動きが一致するかを調べた。
手法
著者らはUCF101の動作動画を参照元とし、別の人物を指定して動画を生成した。例えばスクワットの参照動画を使えば、指定した人物がその動作をする映像を作る設定である。AnimateAnyoneとMagicAnimateには人物の静止画像を、ExAvatarには人物の動画を渡す。
前二者は拡散型で、映像を段階的に生成する。ExAvatarは「3Dガウシアンスプラッティング」という、立体空間に置いた多数の小さな要素で人物を表す方式を使い、参照動画の姿勢に沿って動かす。生成後の調査では、参加者が動画の動作名を選び、別の設問で元動画との一致を判定した。
新規性
著者らは新しい生成手法を提案せず、既存の3手法が作った動画を人に見せ、動作の伝わり方を調べた。生成動画だけから動作を選ぶ課題と、元動画と並べて動きの一致を判定する課題を分けている。
さらに、写実性などについて自由回答も集めた。学習用データとの違いを調べる分析も行ったが、AnimateAnyoneの学習用データは非公開であり、3手法すべてについて学習範囲外だと同じ方法で確認できたわけではない。
従来手法との違い
比較したのはAnimateAnyone、MagicAnimate、ExAvatarである。前二者は人物の静止画像を入力とする拡散型で、ノイズを含む画像から段階的に映像を作る。ExAvatarは人物の動画から立体的な表現を作り、参照動画の姿勢に沿って動かす。
著者らの参加者調査では、ExAvatarが動作判別と元動画との一致判定で最も高い結果を得た。写実性についても参加者の評価で優位だったと報告する。ただしExAvatarだけは対象人物が一連の動きをする動画を要するため、入力の負担は揃っていない。
実験結果
著者らはUCF101の20動作から各3本、計60本の参照動画を選んだ。対象人物の素材は拡散型で14人分の生成画像、ExAvatarで15人分の動画。各手法で840本を生成し、各22本を調査に選んだ。16人の参加者が動作判別30問、一致判定30問、自由回答6問に答え、全員が同じ動画を同じ順序で見た。
著者らの報告では、20択の動作判別の正答率は全体42.92％、MagicAnimate 13.12％、AnimateAnyone 47.50％、ExAvatar 68.12％だった。元動画と「一致」とされた割合は全体36.46％。一致性の表は一部の内訳が100％に達しないため、その内訳を使った追加計算は避ける。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場の作業教育動画を作る前に、手順の動きを別の人物に移した試作映像を確認する。参照する作業動画と表示したい人物の素材を入力し、生成動画を教育担当者が元動画と並べ、動作の順序や手の位置を確認する。
追加学習を行わない試作なら、学習用データと学習用ラベルは用意しない。確認用には作業名と重要動作の正解ラベルを記録する。撮影するならカメラを使い、既存動画を使うなら追加センサーは想定しない。人物の静止画像か動画かを手法に合わせて用意する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の作業動画を用意し、作業名、動作の順序、重要な姿勢と手の位置を確認用ラベルにする。参照動画と対象人物の素材を各手法に渡す。静止画像を使う2手法と、人物が動く動画を要するExAvatarでは、素材の用意を分ける。
追加学習なしの試作なら学習用データと学習用ラベルは設けない。撮影時のセンサーはカメラとし、既存映像には追加センサーを想定しない。元動画をそのまま見せる場合を基準に、生成動画だけで作業名を選べる割合と、元動画との一致判定を測り、誤った手順に見える箇所を記録する。
限界と課題
著者らは、参加者が生成動画の動作を判別しにくく、元動画との一致や写実性にも課題があると報告した。自由回答では拡散型の動画に顔や手の形の乱れ、足の欠落などの指摘があった。ExAvatarには対象人物が動く動画を要する。
編集上の検証事項は、別の作業や撮影条件でも傾向が続くか、重要な手指の動きが保たれるかである。一致性の表には、ExAvatarの内訳など合計が100％にならない数値がある。この内訳の解釈には原データとの照合が必要である。
出典
元のタイトル・要旨を確認する（英語）
Can Pose Transfer Models Generate Realistic Human Motion?
Recent pose-transfer methods aim to generate temporally consistent and fully controllable videos of human action where the motion from a reference video is reenacted by a new identity. We evaluate three state-of-the-art pose-transfer methods -- AnimateAnyone, MagicAnimate, and ExAvatar -- by generating videos with actions and identities outside the training distribution and conducting a participant study about the quality of these videos. In a controlled environment of 20 distinct human actions, we find that participants, presented with the pose-transferred videos, correctly identify the desired action only 42.92% of the time. Moreover, the participants find the actions in the generated videos consistent with the reference (source) videos only 36.46% of the time. These results vary by method: participants find the splatting-based ExAvatar more consistent and photorealistic than the diffusion-based AnimateAnyone and MagicAnimate.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01