アーカイブ / AI Agent / Generative AI
会話を撮影台本に変え、場面をつないで動画を生成する手法
The Script is All You Need
The Script is All You Needの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Our proposed pipeline consists of three key components: (1) a ScripterAgent , trained with GRPO to align its outputs with professional directorial standards; (2) a DirectorAgent , which ensures seamless visual continuity across scenes, thereby overcoming the temporal incoherence caused by the fixed-duration constraints of SOTA video generation models; and (3) a CriticAgent , which evaluates the generated film from both technical and cinematic perspectives.
概要
- 会話からショット別の撮影台本を作り、その指示に沿って動画を生成する。
- 次の場面の生成に前の場面の最終フレームを使い、人物や配置の連続性を保とうとする。
- ScriptBenchのテスト50件では、完全版の台本に対する専門家評価が、劇的緊張感と視覚的描写の両項目でSEED-Storyを上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、The Script is All You Needの仕組み
- 01会話文
- 02ショット別台本
- 03場面分割
- 04最終フレームを引継ぎ
- 05連続動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本手法は、会話から撮影台本を作り、その台本に沿って動画を生成する。会話だけでは、誰をいつ映すか、人物をどこに置くか、どこで場面を切るかが決まらない。動画生成モデルが短い映像を作れても、複数の場面をつなぐには具体的な指示が要る。
著者らは、会話と映像制作の間にあるこの指示の不足を課題とする。台詞をショットごとの指示に変え、生成可能な長さに分けて順に動画化することで、会話劇のつながりを保とうとしている。
手法
ScripterAgentは複数人の会話から、時間、カメラ、人物の行動などを記した構造化台本を作る。ショットとは、一続きの撮影として扱う単位である。学習では、正解台本を見て形式を覚える教師あり学習の後、複数の候補を相対評価して出力を調整するGRPOを使う。報酬には、形式や台詞の網羅性を調べる規則と、専門家の評価から学習した予測値を組み合わせる。
例えば二人の会話なら、話者を映す区間と相手の反応を映す区間を台本で指定する。DirectorAgentはショットの区切りと生成モデルの長さの制約を踏まえて場面を分ける。各場面の生成後、最後のフレームを次の場面の画像条件に使い、人物の外見や配置を引き継ぎながら動画をつなぐ。
新規性
著者らが提案するのは、会話からショット単位の撮影台本を作るScripterAgentと、台本を動画生成に渡すDirectorAgentを組み合わせた流れである。台本を、会話と動画生成の間に置く具体的な指示として使う。
台本の学習では、正解例から形式を学ぶ段階と、形式の正しさや専門家の評価を報酬として調整する段階を分ける。場面をまたぐ生成では、直前の場面の最終フレームを次の場面の条件に使う。
従来手法との違い
台本生成の比較対象は、ScriptBenchのテスト集合におけるCHAE、MoPS、SEED-Story、教師あり学習のみの自モデルである。著者らの評価では、完全版と教師あり学習のみの自モデルを比べ、追加学習による評価点の変化を調べている。
動画生成では、短い場面を独立に作ると人物の外見や配置が変わり得る、という問題を著者らは挙げる。提案手法は台本のショット境界で場面を分け、前の場面の最終フレームを次に渡す。確認できた本文の範囲では、この動画側の比較結果を示す表はない。
実験結果
著者らのScriptBenchは完成台本1,750件で、学習用1,700件とテスト用50件に分かれる。テスト集合の専門家評価は0～5点で、完全版の「劇的緊張感とリズム」は4.1点、「視覚的な描写」は4.3点だった。SEED-Storyは順に3.7点、3.8点、教師あり学習のみの自モデルは3.6点、3.8点である。
著者らは動画についても、台本への忠実さや時間的な一致の改善を報告する。Visual-Script Alignment（VSA）は、台本が指定した時間帯の指示と、その時間帯の映像フレームの対応を見る指標である。確認できた本文の範囲では動画実験の結果表がなく、モデル別の数値と条件は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内研修用の短い会話劇について、制作担当者が確認する試作台本と動画を作る。入力は承認済みの会話文と人物設定とし、出力はショットごとの撮影指示と、それに沿って生成した動画とする。
担当者は動画生成前に、台詞、人物の位置、場面転換を台本上で確認する。組織固有の表現へ適応学習するなら、会話と承認済み台本の対を集め、必要な人物位置のラベルを付ける。音声を扱う場合は台詞音声も用意する。撮影用センサーは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い研修会話を数本選び、会話文、人物設定と位置、承認済みのショット別台本をそろえる。適応学習を試すなら会話と台本の対、台詞とショットの対応ラベルを用意する。音声を使う場合は台詞音声も入力に加える。撮影用センサーは使わない想定とする。
同じ会話から担当者が作った台本と提案手法の台本を比べ、台詞の欠落、人物位置の誤り、修正に要した時間を記録する。動画では場面間の外見や配置の不一致を数え、音声を使う場合は口の動きとのずれも確認する。採用判断には制作担当者の確認を入れる。
限界と課題
著者らは、前の場面の最終フレームを引き継いでも、口の動きと音声の同期が不完全で、細かな動作と台本のずれが残ると述べている。データ作成時にも、自動検査を通った台本から、専門家が人物の位置や小道具の状態に関する誤りを見つけた。
編集上の検証事項は、会話を長くした際の人物と小道具の一貫性、台詞の時刻、修正作業の量である。確認できた本文の範囲では動画実験の結果表を確認できず、改善幅を比較条件まで含めて検証できない。
出典
元のタイトル・要旨を確認する（英語）
The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation
Recent advances in video generation have produced models capable of synthesizing stunning visual content from simple text prompts. However, these models struggle to generate long-form, coherent narratives from high-level concepts like dialogue, revealing a ``semantic gap'' between a creative idea and its cinematic execution. To bridge this gap, we introduce a novel, end-to-end agentic framework for dialogue-to-cinematic-video generation. Central to our framework is ScripterAgent, a model trained to translate coarse dialogue into a fine-grained, executable cinematic script. To enable this, we construct ScriptBench, a new large-scale benchmark with rich multimodal context, annotated via an expert-guided pipeline. The generated script then guides DirectorAgent, which orchestrates state-of-the-art video models using a cross-scene continuous generation strategy to ensure long-horizon coherence. Our comprehensive evaluation, featuring an AI-powered CriticAgent and a new Visual-Script Alignment (VSA) metric, shows our framework significantly improves script faithfulness and temporal fidelity across all tested video models. Furthermore, our analysis uncovers a crucial trade-off in current SOTA models between visual spectacle and strict script adherence, providing valuable insights for the future of automated filmmaking.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01