アーカイブ / Audio / Generative AI
音声と台本に合う全身の身振りを、連続した動きから生成するMAG
MAG
MAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Architecture of MAG. MAG generates realistic co-speech gestures in two stages: (a) MTA-VAE: Motion VAE encodes motion embeddings 𝐞 m \mathbf{e}_{m} , which are aligned with WavCaps’ text embeddings 𝐳 t \mathbf{z}_{t} and audio embeddings 𝐳 a \mathbf{z}_{a} through contrastive learning. (b) MMAG: MMAG utilizes an autoregressive model to predict each motion embedding, derived from MTA-VAE encoder.The diffusion process, which predicts noise and ultimately generates the motion embedding, is guided by a text-audio fusion mechanism within a hybrid granularity audio-text fusion block. This ensures coherence across modalities, with the final motion output being produced by the MTA-VAE decoder.
概要
- MAGは音声・書き起こし・話者IDを条件に、連続した動きの特徴から全身の身振りを生成する。
- 著者報告のBEATv2評価では、MAG (MTA-VAE)のFGD表示値は4.565で、EMAGEの5.512より低い。
- 案内役アバターへの適用には、同期した音声・文章・全身動作を用意し、対象環境で身振りの同期と自然さを検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MAGの仕組み
- 01音声・台本・話者ID
- 02音声と文章を融合
- 03動きの特徴を順次生成
- 04全身の身振り
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MAGは、発話の音声と文章に合わせて全身の身振りを生成する手法である。案内役のアバターなどでは、言葉の内容に合う動きに加え、声の区切りや強調と動きのタイミングが合うことが求められる。
著者は、従来の一部の手法が連続した動きを限られた番号へ置き換えて生成する点を課題とする。この離散化によって細かな動きの情報が失われ、生成される動きの自然さや多様性に影響すると説明している。
手法
学習の第１段階では、全身動作を上半身・手・下半身に分け、MTA-VAEで連続した特徴に圧縮して復元する。VAEは入力を特徴に圧縮し、そこから元のデータを再構成するモデルである。事前学習済みのWavCapsから音声と文章の特徴を取り出し、対応する動きの特徴と近づけて学習する。
第２段階のMMAGは、既知の動きの特徴を手掛かりに、次の特徴を拡散処理で生成する。拡散処理とは、雑音から段階的に特徴を作る方法で、音声・文章・話者IDが生成条件になる。音声にはリズムを捉えるMFCCなど、文章にはfastTextの特徴を使う。例えば一文の録音と書き起こしを入力すると、生成した特徴をVAEの復元器が全身動作に戻す。
新規性
著者が主張する新規性は、動き・文章・音声を対比学習で対応づけるMTA-VAEと、動きを離散的な番号に変えずに順次生成するMMAGを組み合わせた点にある。対比学習とは、対応するデータの特徴を近づける学習方法を指す。
動きの連続性を保つことで、番号への変換に伴う情報損失を避ける設計である。音声と文章を融合した条件も生成に使い、発話のリズムと内容の双方に身振りを合わせようとしている。
従来手法との違い
比較対象のEMAGEは、VQ-VAEを使って動きを離散的な番号に変え、自己回帰モデルで生成する。自己回帰とは、それまでの動きを手掛かりに次を作る方法である。MAGは連続した動きの特徴を扱い、拡散処理で次の特徴を生成する。
著者は、文章と動きの対応を主に学ぶ先行手法にも言及する。MAGでは音声と動きも対応づけ、さらに音声・文章の特徴を生成条件として融合する。ただし、表に示された性能差を、この設計差だけの効果とは断定できない。
実験結果
著者はBEATv2のBEAT2-Standard Speaker-2を学習85％、検証7.5％、試験7.5％に分けた。SHOWは３秒超の映像を選び、80％、10％、10％に分けた。FGDは生成動作と実動作の分布差、BCは音声と動きの同期、Diversityは動きのばらつきを測る指標である。
著者の表では、BEATv2のEMAGEがFGD 5.512、BC 7.72、Diversity 13.06、MAG (MTA-VAE)が4.565、7.84、13.27だった。SHOWではTalkSHOWのFGD 1155.6に対しMAG (VAE)は592.7だった。FGDとBCは表の「×10のマイナス１乗」表記に従う表示値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：案内役アバターの説明動画で、収録済みの発話に合う全身の身振りを作る。入力は音声、書き起こし、話者IDとし、出力した動きをアバターに適用して担当者が映像で確認する。
適応には、音声・書き起こし・話者IDと同期した全身動作の学習データを用意し、対象アバターの動きの表現に合わせる必要がある。身振り以外の意味ラベルが必須かは示されていない。動作を取得するセンサーの種類も確認できた本文の範囲では指定されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い案内文について、音声、書き起こし、話者ID、同期した全身動作を集め、学習用と試験用を分ける。動作を取得するセンサーは本文で指定されていないため、取得方法と精度を確認する。必要な教師データは対応づけられた動作であり、追加の意味ラベルの要否は別途確かめる。
動作の表現を対象アバターに合わせて適応した後、同じ試験用発話で既存の身振り生成手法とMAGを比較する。方法名を伏せた評価で、発話内容との一致、音声との同期、不自然な動きの件数を記録する。比較時は入力と動作表現をそろえる。
限界と課題
著者が明示した適用上の限界は、確認できた本文の範囲では見当たらない。表にはBEATv2の「MAG (MTA-VAE)」とSHOWの「MAG (VAE)」が載るため、別の構成の数値として読む必要がある。BEATv2の多様性については本文内に整合しない記述があり、表の数値を優先して示した。
編集上の検証事項は、未学習の話者や発話、長い音声でも身振りが適切に続くか、対象アバターへ動きを変換した後も品質を保てるかである。確認できた本文は途中で終わっており、後続の実験や著者による限界の記述は確認できない。
出典
元のタイトル・要旨を確認する（英語）
MAG: Multi-Modal Aligned Autoregressive Co-Speech Gesture Generation without Vector Quantization
This work focuses on full-body co-speech gesture generation. Existing methods typically employ an autoregressive model accompanied by vector-quantized tokens for gesture generation, which results in information loss and compromises the realism of the generated gestures. To address this, inspired by the natural continuity of real-world human motion, we propose MAG, a novel multi-modal aligned framework for high-quality and diverse co-speech gesture synthesis without relying on discrete tokenization. Specifically, (1) we introduce a motion-text-audio-aligned variational autoencoder (MTA-VAE), which leverages pre-trained WavCaps' text and audio embeddings to enhance both semantic and rhythmic alignment with motion, ultimately producing more realistic gestures. (2) Building on this, we propose a multimodal masked autoregressive model (MMAG) that enables autoregressive modeling in continuous motion embeddings through diffusion without vector quantization. To further ensure multi-modal consistency, MMAG incorporates a hybrid granularity audio-text fusion block, which serves as conditioning for diffusion process. Extensive experiments on two benchmark datasets demonstrate that MAG achieves stateof-the-art performance both quantitatively and qualitatively, producing highly realistic and diverse co-speech gestures.The code will be released to facilitate future research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01