アーカイブ / Generative AI
音楽と先導役の動きから、接触を伴うペアダンスを生成するInterDance
InterDance
InterDanceの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example of reactive 3D dance generation. Green represents the leader and blue represents the follower (also positioned with a red marker). Given the music and leader’s dance, the goal of reactive dance generation is to generate the follower’s dance that coordinates with the music and leader.
概要
- 音楽と先導役の3D動作から、相手と接触する追従役のダンスを生成する。
- 関節・体表面・接触ラベルを使い、生成中に接触ずれと身体のめり込みを調整する。
- 著者らのInterDance上の比較では、Duolandoより接触頻度は高いが、貫通率も高かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、InterDanceの仕組み
- 01音楽と先導役の3D動作
- 02追従役の動きを予測
- 03接触とめり込みを調整
- 04追従役の3D動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
InterDanceは、音楽と先導役の踊りを受け取り、相手の動きに応じた追従役の3Dダンスを生成する。ペアダンスでは手をつなぐ、肩に触れるなどの動きがあり、追従役には音楽との一致に加えて、相手との位置合わせも求められる。
著者らは、質の高いペアダンス記録が少なく、既存手法では体表面での接触や生成中のめり込みを十分に扱えないと指摘する。映像やゲームの制作で使う動作案なら、踊りの流れとともに接触や足元を確認する必要がある。
手法
入力は音楽と先導役の3D動作、出力は追従役の3D動作である。学習時には二人の動きを、関節、間引いた体表面の点、手指、足と床の接触、二人の接触ラベルを含む時系列として表す。例えば手をつなぐ場面では、腕の関節に加え、手付近の表面点が相手に触れるかも扱う。動きは身体の向きを基準にした座標系にそろえる。
生成には拡散モデルを使う。これはノイズから動きを段階的に予測する仕組みで、各段階で接触点間の距離を測り、触れるべき場所のずれを調整する。さらに符号付き距離場という、点が相手の身体表面の内側か外側かを調べる表現を使い、身体のめり込みを抑える方向に予測を調整する。
新規性
著者らの提案は、関節に加えて間引いた体表面の点、手指の動き、二人の接触ラベルを一つの動きの表現に含める点にある。手をつなぐ場面を、関節の位置関係だけで扱わず、触れる場所まで表せるようにした。
さらに、生成の各段階で接触位置のずれと身体のめり込みを計算し、予測を調整する。音楽付きペアダンスの収録データと、この生成手法を組み合わせて提示している。
従来手法との違い
既存のDuolandoが用いたDD100は、手指の動きを含む音楽付きペアダンス1.92時間、10ジャンルのデータセットである。著者らのInterDanceは3.93時間、15ジャンルを収録する。ただし、収録量の差だけで生成結果の差は説明できない。
手法面では、関節中心の表現では体表面での接触を捉えにくいという問題に対し、体表面の点と接触ラベルを加えた。著者らの比較では、Duolandoを含む各手法を追従役生成に適合させ、InterDance上で学習・評価している。
実験結果
著者らはInterDance上で、EDGE、GCD、InterGen、Duolandoを追従役生成向けに適合させ、学習・評価した。収録データは音楽付きペアダンス3.93時間、15ジャンル。テスト用16.22％と検証用6.25％は、各ジャンルから比例して抽出している。
動きの特徴分布の差を測るFIDkは、提案手法が65.96、Duolandoが86.79で、低いほどよい。二人の体表面点が1cm未満に近づいたフレームの割合である接触頻度は6.99％対3.49％だった。一方、全体表面点に占める貫通点の割合は0.36％対0.19％で、提案手法の方が高い。いずれも著者らが同一データセットで報告した値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ゲームのペアダンス場面で、音楽と制作者が用意した先導役の3D動作を入力し、追従役の動作案を得る。担当者が二人を同時に再生し、手をつなぐ位置や身体の重なりを見て、採用する部分を選ぶ。
適合には、対象ジャンルの音楽と、対応する二人の身体・手指の3D動作、二人の接触箇所と足・床の接触ラベルが要る。原研究は光学式の動作計測と手指用の慣性グローブで収録した。制作側のデータも同じ動きの表現に変換する必要があり、修正時間の短縮は検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず対象ジャンルを一つ選び、音楽と対応する二人の3D動作を集める。原研究の光学式動作計測と手指用の慣性グローブによる収録を参照し、身体・手指の位置、二人の接触箇所、足と床の接触を記録・ラベル化する。収録した動作は手法が使う表現にそろえる。
同じ音楽と先導役の動作を条件に、既存の制作手順で作った追従役の動作を比較基準とする。接触位置のずれ、身体の貫通、足の滑り、担当者の修正時間を記録する。学習に使わない短い場面でも確認し、品質とデータ準備の手間を合わせて評価する。
限界と課題
著者らは、接触とめり込みの誘導を加える前の条件付き拡散モデルでは、接触位置が浮くことや身体のめり込みが残ると述べる。提案手法でも、評価表の貫通率は0.36％であり、めり込みがなくなったわけではない。
編集上の検証事項は、未収録のジャンルや異なる体格の組み合わせでも接触が自然に見えるか、制作時にどれだけ修正が要るかである。確認できた本文の範囲では、これらの条件での結果や作業時間は判断できない。
出典
元のタイトル・要旨を確認する（英語）
InterDance:Reactive 3D Dance Generation with Realistic Duet Interactions
Humans perform a variety of interactive motions, among which duet dance is one of the most challenging interactions. However, in terms of human motion generative models, existing works are still unable to generate high-quality interactive motions, especially in the field of duet dance. On the one hand, it is due to the lack of large-scale high-quality datasets. On the other hand, it arises from the incomplete representation of interactive motion and the lack of fine-grained optimization of interactions. To address these challenges, we propose, InterDance, a large-scale duet dance dataset that significantly enhances motion quality, data scale, and the variety of dance genres. Built upon this dataset, we propose a new motion representation that can accurately and comprehensively describe interactive motion. We further introduce a diffusion-based framework with an interaction refinement guidance strategy to optimize the realism of interactions progressively. Extensive experiments demonstrate the effectiveness of our dataset and algorithm.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01