アーカイブ / Generative AI / Audio
台本・音声・顔の動きをつなぎ、発話する人物動画を生成するArchon
Archon
Archonの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Pipeline . We use modality tokenizers to tokenize description, script, speech, animation, image and semantic video into discrete tokens. These tokens are arranged in a structured format and input to the language model for multimodal reasoning. The synthesized tokens are detokenized into raw modalities. For synthesizing high-quality video, we employ a semantic-driven video diffusion model to synthesize high-quality video conditioned on image and semantic segmentations.
概要
- 人物の説明文、台本、音声、顔の動き、意味動画、画像、動画の7種類を扱い、同期したデータと72種類のタスクで学習する。
- 顔領域のラベルで表す意味動画を使い、著者らは動画のトークン数を4分の1に減らしたと報告する。
- CelebV-HQとHDTFの各200本を使った比較ではFID・FVDがHallo3より低い一方、同期や音声の評価では全項目が優位ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Archonの仕組み
- 01人物画像と台本
- 02種類別に数値化
- 03音声と意味動画
- 04発話動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Archonは、文章や音声などから、話す人物の映像を生成・編集する手法である。著者らによると、従来は音声から動画を作るなど、用途ごとに異なるモデルを用いる方法が多かった。
別々のデータで学習したモデルをつなぐと、データの性質や内部表現の違いが調整を難しくする。例えば台本を変えたとき、声、口の動き、人物の見た目を整合させるには、それらの関係をまとめて扱う必要がある。
手法
文章、音声、画像などの入力を、種類ごとの符号化器で「トークン」という数値の列に変える。言語モデルは入力と求める出力を手掛かりに、トークンを順に予測する。例えば人物画像と台本を与え、音声と顔の動きを表す意味動画を作る。
意味動画は、まぶたや眉などを含む21種類の顔領域ラベルで構成される。拡散モデルという、映像を段階的に生成する仕組みが、意味動画、参照画像、人物の説明文を条件に最終動画を作る。音声から直接動画を作るような曖昧さの大きい変換では、「Thinking in Modality」と呼ぶ方法で中間のデータ種類を経由できる。
新規性
著者らが新規性として挙げるのは、人物の説明文、台本、音声、顔の動き、顔領域の意味動画、画像、動画という7種類のデータを一つの生成モデルで扱う設計である。同期したデータを使い、72種類のタスクで学習する。
通常の動画を顔領域のラベルで表す意味動画に置き換え、著者らは動画のトークン数を4分の1に減らしたと報告する。推論時には、必要に応じて別のデータ種類を中間に挟み、段階的に出力を作る。
従来手法との違い
音声から動画を作るタスクではAniPortrait、EchoMimic、Hallo3と比較し、画像を条件に音声を作るタスクではFaceTTSと比較している。Archonは複数の入出力を共通モデルで扱うが、表の比較はこれら個別タスクに限られる。
動画のFIDとFVDは両評価データでHallo3より低い。一方、音声と口の同期を表すSync-Cは、CelebV-HQでHallo3の5.429に対しArchonは5.210だった。画像条件付き音声のMCD-DTWも両データでFaceTTSの方が低い。
実験結果
著者らは、学習データと重ならないCelebV-HQとHDTFから、それぞれ200本を無作為に選んで評価した。Archonは両評価データで追加学習していない。比較表のFIDとFVDは低いほど良く、音声と口の同期を示すSync-Cは高いほど良い。
音声からの動画生成では、CelebV-HQのFIDはArchonが6.818、Hallo3が15.67、FVDは93.81と105.5だった。HDTFのFIDは5.779と12.78、FVDは81.64と96.51だった。ただし、表の注記ではHDTFのHallo3は評価データで学習している。画像条件付き音声のMCD-DTWは、両データでFaceTTSの方が低い。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内研修向けの短い説明動画を試作する。担当者が確認した人物画像と台本を入力し、生成された音声と発話動画を受け取る。担当者が発話内容、口の動き、人物の見た目を確認してから使用する。
既存モデルをそのまま試すなら、独自の追加学習データは前提としない。組織固有の人物へ適応させるなら、許可を得た撮影動画、同期する録音音声と台本、人物説明、顔領域ラベル、顔の形状・表情・姿勢の情報が必要になる。専用センサーの要否や適応後の品質は未確認である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まずモデルを利用できる条件を確認し、許可を得た人物画像と短い台本で出力を試す。同じ入力で作る既存の動画制作手順を比較基準にし、台本との一致、口と音声のずれ、顔の崩れ、修正時間を記録する。
独自人物への適応を試す場合は、撮影動画と同期した録音音声・台本を元データとして用意し、人物説明、顔領域ラベル、形状・表情・姿勢の情報を揃える。本文はこれらを学習に使うが、必要な収録機器や少量データでの適応手順は示していない。採用基準は試作前に決める。
限界と課題
著者らが課題として挙げるのは、通常の動画を符号化した際のトークン数の多さと、音声だけから外見などを決める際の曖昧さである。意味動画への置き換えと中間表現を経由する生成は、これらに対する提案であり、課題の解消を保証するものではない。
編集上の検証事項は、人物の同一性、台本と音声の一致、長い動画での安定性、修正に要する時間である。確認できた本文の範囲では、社内研修動画での評価、独自人物への適応結果、モデルを実際に利用できる条件は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Archon: A Unified Multimodal Model for Holistic Digital Human Generation
Digital humans are fundamental to immersive interaction, yet creating a unified model for holistic modalities, including text, audio, motion, and visual content, remains an open challenge. In this paper, we present Archon, a fully pretrained, human-centric unified multimodal model for holistic avatar generation. Archon unifies seven modalities with modality-specific tokenizers, and a native autoregressive unified multimodal model pretrained on synchronized modalities and 72 diverse tasks to model holistic joint distributions. To address the token explosion challenge in high-fidelity talking videos, we introduce a memory-efficient semantic video reparameterization, achieving 4x token reduction while preserving fine-grained dynamics, coupled with a semantic-driven video diffusion decoder. We further propose a "Thinking in Modality" that decomposes ambiguous cross-modal tasks into stepwise thinking in an alternative chain of modality, progressively enhancing fidelity and controllability. Extensive experiments demonstrate that Archon achieves superior or comparable performance across diverse digital human generation tasks, validating the effectiveness of our unified framework. Project page: https://zju3dv.github.io/archon/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01