新着研究 / Computer Vision / AI Agent / VLM
配信中に商品も会話も切り替えるデジタル人物生成「FlowAct-R2」
FlowAct-R2
FlowAct-R2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : FlowAct-R2 couples proactive interaction with streaming multimodal reference generation. Our demonstrations cover entertainment streaming, live shopping, live vlogging, and video chatting.
概要
- 参照画像・音声・動画を配信中に更新しながら、連続した人物動画を生成する構成。
- 事前の人物設定・進行予定と、配信中の質問対応・割り込み処理を分担する。
- 著者らは720pのリアルタイム生成と実演を報告し、Vidu-S1との人物評価でGSBスコアの改善を示した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FlowAct-R2の仕組み
- 01人物・商品素材と予定
- 02行動の選択と時間調整
- 03参照素材付き動画生成
- 04連続した人物動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
対話するデジタル人物をライブ配信に使うには、発話だけでなく、視聴者を待つ間の行動、質問への応答、商品や場面の切り替えが必要になる。従来の用途別の仕組みでは、長い進行予定と突然の入力を一つの配信で扱うことが課題だった。
さらに、参照画像や音声を途中で替えても、人物の見た目と動きの連続性を保つ必要がある。ここが崩れると、商品説明や会話の内容と画面が食い違う。
手法
事前に人物像、長い進行予定、歌や商品紹介などに使う素材を「スキル」として準備する。配信中のエージェントは視聴者の文字・音声入力と会話履歴を見て、何をいつ行うか決める。行動は開始、後回し、中断、再開が可能で、その決定が指示文、音声、参照画像・動画の更新として生成器に渡る。
生成器はSeedance 2.0 Miniを基にした拡散Transformerで、拡散とはノイズを段階的に取り除いて映像を作る方法を指す。参照動画の断片を生成時刻に合わせる位置表現、外見を固定する参照画像の条件付け、過去に作った動きのフレームを使い、途中で参照が変わっても連続する映像を作る。例えば新しい商品の画像が届くと、その画像を次の生成区間の条件に加える。
新規性
主張する前進は、配信中に画像・音声・動画の参照素材を更新できる動画生成器と、事前準備と配信中の判断を分けたエージェントを一体化した点にある。
参照素材の時刻合わせ、外見を保つ条件付け、過去の動きの利用を組み合わせ、会話への応答だけでなく予定した行動の開始・中断・再開を扱う。
従来手法との違い
比較対象のVidu-S1は音声対話によるリアルタイムの動画生成を扱う。著者らの人物評価では、FlowAct-R2の動画品質と対話性のGSBスコアが、それぞれ54.76％、40.48％高かった。
参照画像を途中で切り替えられるVidu-S2とは、商品画像を使った事例を定性的に比較した。著者らは、Vidu-S2側で前の商品と新しい商品の特徴が混ざる例を示す。これは掲載事例の比較であり、全商品での優劣を示す数値ではない。
実験結果
著者らは娯楽配信、ライブ販売、ビデオチャット、ライブ動画日記で実演し、720pのリアルタイム生成と時間単位の配信に対応すると報告した。販売例では連続した商品提示、会話例では聞く間の視線や表情、動画日記では場面の変更を示している。
Vidu-S1との人物評価ではGSBスコアが動画品質で＋54.76％、リアルタイム対話で＋40.48％だった。Vidu-S2との比較は商品包装の色、模様、形を追う定性的な事例である。本文で確認できる範囲では、長時間配信の成功率を示す集計値はない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：衣料品のライブ販売で、一人のデジタル案内役が複数の商品を順に紹介する。入力は人物の設定、進行予定、商品画像、発話音声、視聴者の質問とする。
出力は商品を示しながら説明し、質問時には話題を切り替え、その後に紹介へ戻る連続動画だ。運用上は商品画像の更新と質問イベントを記録し、表示商品・発話・動作が一致しているかを人が確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：商品を三つ順に見せ、途中で視聴者の質問を差し込む短い配信を作る。入力画像、質問時刻、選ばれた行動、出力動画を同じ記録に残し、商品が変わった直後から紹介へ戻るまでを確認する。
比較基準は、商品を切り替えず質問にも割り込まない固定進行の動画とする。商品形状・包装の一致、質問への反応時間、口と音声の同期、復帰漏れを区間ごとに数え、使う場面で許容できるかを判断する。
限界と課題
著者らが示したのは720pのリアルタイム生成、長時間配信の能力と、四つの場面での実演である。本文に示されたGSB値だけでは、評価者数、配信全体の遅延分布、長時間にわたる失敗頻度までは判断できない。
編集上の確認課題は、商品変更直後の取り違え、発話と口の同期、割り込み後の予定復帰を、実際に使う素材で測ることだ。掲載フレームは動作例を理解する助けになるが、連続運用時の安定性を単独で保証しない。
出典
元のタイトル・要旨を確認する（英語）
FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning
We present FlowAct-R2, a framework for interactive humanoid video generation that combines continuous multimodal control with proactive agent planning. Our method consists of two coupled components. First, a Streaming Multimodal Reference Diffusion Transformer adapts the pretrained Seedance 2.0 Mini reference-to-video backbone to accept rolling action prompts, streaming audio, and dynamically updated image, audio, and video references. Video-driven rotary positional embeddings align reference chunks with the generation timeline, while reference-plus-image conditioning and partially noised historical motion frames preserve appearance and avoid accumulated drift. Second, a Proactive Interaction Agent separates pre-online planning from online scheduling and response: it prepares a persona, a long-horizon agenda, and reusable multimodal skills in advance, then autonomously schedules behaviors, responds to audience input, and handles interruptions during a live session. FlowAct-R2 supports real-time 720p generation and hour-scale streaming across entertainment streaming, live shopping, video chatting, and live vlogging.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29