新着研究 / Computer Vision
会話が進む間に表情と口の動きを調整する3Dアバター
EvolvingAvatar
EvolvingAvatarの原論文から掲載した図です。細部はクリックして拡大できます。
出典：EvolvingAvatar / arXiv ↗概要
- EvolvingAvatarは利用者の顔映像と両者の音声を使い、会話中に一部の重みを更新する。
- 455.95時間の会話を含むInterHead-Benchで、発話・傾聴の頭部動作を評価した。
- 最難条件で表情統計の不一致が会話冒頭から最大11.1％減ったが、指標ごとの優劣は異なる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EvolvingAvatarの仕組み
- 01利用者の顔映像と両者の音声
- 02会話文脈を予測
- 03重みとあご動作を調整
- 043D頭部動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
対話する3Dアバターには、話すときの口の動きだけでなく、聞いている間のうなずきや、発話の切り替わりに合う表情が要る。会話相手の映像や両者の音声を参照する既存の生成法でも、推論中のパラメータは固定されている。
会話が進むと、その相手の表情や話す間合いに関する観測が増える。この情報を動作生成へ反映するには、運用中には得られない「正解のアバター動作」を使わずに、到着した映像と音声から調整する方法が必要になる。
手法
EvolvingAvatarは会話を一定の区間に分け、各区間までに届いた利用者の顔映像、利用者の音声、アバターの音声を処理する。運用時学習とは、利用中の観測でモデルの一部を更新することだ。本手法は映像と音声から作った情報同士を予測する誤差を使い、会話ごとに保持する「速い重み」を更新する。
表情と首の動作には蓄積した更新を使い、あごには現在の区間に限る別の調整を使う。発話・傾聴の予測が蓄積分の効き方を調節する。最後に、顔動作を圧縮表現から戻す復号器が、表情100値、首3値、あご3値からなる各時刻の3D頭部動作を出す。
新規性
EvolvingAvatarは、会話相手の顔映像と両者の音声を、動作生成の入力だけでなく会話中の学習材料にも使う。完成したアバター動作の正解ラベルが運用時になくても、映像と音声の文脈を予測する課題から更新信号を得る。
会話をまたぐ短期の重みはやり取りの傾向を保持し、あご用の更新は現在の区間だけに使う。発話中か聞き手かの予測も使い、蓄積した調整を動作へ反映する度合いを変える。
従来手法との違い
論文の比較対象では、DiffPoseTalkとARTalkはアバターの音声、UniLSは両者の音声、DualTalkはさらに事前推定したユーザーの顔動作を入力にする。いずれも会話中にモデルのパラメータを更新しない設計として整理されている。
EvolvingAvatarはユーザーの顔映像と両者の音声を使い、会話の区間ごとに一部の重みを更新する。入力の種類も異なるため、成績差を更新機構だけの効果と断定できない。比較では同じ106次元の顔動作表現にそろえている。
実験結果
著者は単一視点と二視点の会話録画を統合し、455.95時間、4365の参加者IDを含むInterHead-Benchを構築した。参加者や録画条件を分けたID、OOD、録画形式も異なるOOD-Hardなどで、顔動作の誤差、利用者とアバターの動作統計、口や頭部の指標、人による比較を用いて評価した。
本文の表では、OODの聞き手状態における表情の平均二乗誤差はEvolvingAvatarが1.99、UniLSが2.26、DualTalkが1.64で、指標ごとに順位は異なる。著者は最難条件で、会話の最初の区間に比べ、利用者とアバターの表情統計の不一致が最大11.1％減ったと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：オンライン接客の案内アバターで、利用者が話している間の相づちと、案内音声に合わせた口の動きを生成する。入力は利用者の顔映像と音声、アバターが話す音声で、出力は表情、首、あごの時系列動作とする。
会話開始時に更新状態を初期化し、映像と音声が一区間そろうたびに動作を生成する。評価用の録画では、会話前半と後半の動作統計、発話の切り替わり、口と音声のずれを確認する。実運用で自然に見えるかは利用者評価も必要だ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同意を得た短い二者会話を用い、同じ音声と顔映像から、更新を有効にした場合と固定した場合の頭部動作を生成する。発話中と傾聴中を分けて、口の動きの誤差、表情のばらつき、相づちのタイミングを測る。
会話前半と後半も分け、更新が進むほど指標が改善するかを確認する。顔が一時的に隠れる、音声が重なるなどの区間では生成の乱れと遅延を記録し、人による比較で不自然な表情が増えていないか確かめる。
限界と課題
著者の評価は録画済み会話から作ったInterHead-Benchが中心で、本文に示された指標は顔動作の誤差や統計量を含む。最も難しい分布外条件で会話に沿った改善を報告しているが、実際の対話システムへ接続した際の遅延や不意の入力欠落までは、この結果だけでは判断できない。
編集上の確認事項は、顔追跡や音声分離が崩れる条件、会話ごとに保持する更新状態の扱い、利用者が動作を自然と感じるかである。数値上の動作統計が良くても、個々の表情や相づちが適切とは限らない。
出典
元のタイトル・要旨を確認する（英語）
EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold
Interactive 3D head generation requires coordinated speaking and listening motion that responds to an evolving conversation. Existing generators use incoming observations as context but keep their parameters fixed, leaving conversational patterns unused as a learning signal. We introduce EvolvingAvatar, a causal generator that uses test-time training to adapt to user face video and dyadic audio during interaction. Its dyadic context prediction objective provides a self-supervised learning signal from audiovisual context without target motion labels at test time. Persistent fast weights accumulate these updates within each conversation to guide motion generation, while transient jaw adaptation responds to current audiovisual context. Predicted speech activity controls how persistent adaptation guides motion. We also introduce InterHead-Bench, a unified 455.95-hour benchmark built from single-view and dual-view conversation videos. Experiments show improved conversational motion statistics over strong baselines. On the hardest out-of-distribution split, generation improves as conversations unfold, reducing mismatch with recorded user-avatar expression statistics by up to 11.1% from the first interval.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29