新着研究 / Generative AI / AI Agent / VLM
監督と批評を同じVLMで交互に学ぶCineEvolve、複数ショットの動画を欠陥の診断から修正
CineEvolve
CineEvolveの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Overview of the CineTraj construction pipeline. (a) Movie scenes are curated through deduplication, shot segmentation and grouping, and quality filtering. (b) The teacher Director converts annotated stories and shot descriptions into production plans and initial storyboards. (c) Teacher-guided critique, revision, and re-evaluation produce closed-loop trajectories.
概要
- 同じ視覚言語モデルが監督と批評家を担い、絵コンテを生成・診断・修正してから動画化する。
- 修正前と過去の性能を学習の基準に加え、悪化した候補群の中で相対的に良い修正を過大評価しないようにする。
- 独立した映画100系列の評価では多くの指標で比較法を上回ったが、全指標での優位ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CineEvolveの仕組み
- 01物語の指示
- 02監督が絵コンテ作成
- 03批評と対象ショット修正
- 04絵コンテから動画化
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
複数のショットで物語を見せる動画では、各場面がきれいでも、人物の服装が変わったり、出来事の順序が飛んだりする。画像の連続性と物語の進行を同時に点検し、問題のあるショットだけを直す能力が必要になる。
生成ツールを呼ぶ固定手順だけでは、見つかった失敗が次の判断能力の改善に結び付かない。CineEvolveは制作と批評を学習の中で循環させ、初回の制作だけでなく診断と修正も同じモデルへ学ばせる。
手法
画像と言葉を扱う視覚言語モデル、VLMを一つ用意し、役割を監督と批評家で切り替える。監督は全体計画、ショットの内容、生成ツールの呼び出しを作る。批評家は絵コンテを見て、欠陥の位置、説明、深刻さを返す。監督は各ショットを保持、再生成、編集のいずれかで扱う。
実演データで初期学習した後、批評家と監督を交互に強化学習する。E-GRPOは、修正前より悪い候補に正の学習信号を与えない保護と、過去性能による基準を加える。推論では最大10回の修正を許し、承認した絵コンテを別の動画生成器へ渡す。画像・動画の生成器自体は固定する。
新規性
生成結果を見て指示を書き換えるだけでなく、診断役と制作役を共有する方策を交互に更新する点が中心である。監督の新しい失敗を次の批評学習へ戻し、診断対象が古いままにならないようにする。
候補群の中での相対評価だけでは、全候補が悪化していても一部を良い例として強化し得る。そのため修正元と歴史的な成績を参照し、学習中の評価基準のずれを抑える仕組みを導入した。
従来手法との違い
比較対象はShotStreamなどの直接生成方式と、STAGE、ViMax、CineCrewなどのエージェント方式である。著者は画像・動画の生成器を共通にし、エージェント用VLMも揃えた。直接生成方式へは詳細なショット台本を渡している。
構成要素の比較では、教師実演のみの学習、批評家を固定した場合、役割を別方策にした場合、通常GRPOも調べた。単に修正回数を増やすことと、役割の共有や更新方法が与える効果を分ける狙いがある。
実験結果
CineTrajは初期学習用3万件、交互強化学習用1万件からなり、独立評価には学習から除外した100系列を使う。著者の表ではショット間一貫性はCineEvolveが0.8893、通常GRPOが0.8350、批評家固定が0.8103だった。
人の選好割合は映像品質52.2%、文章への一致54.0%などと報告された。一方、背景一貫性はMultiShotMasterの0.9528に対し0.9507で、全指標で最高ではない。VLMによる採点と人の選好も別の評価として読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、社内研修の短い手順動画を制作する際の絵コンテ点検に使う。入力は作業の順序と人物・道具の設定、出力はショット別の画像、欠陥の一覧、修正後の絵コンテにする。
例えば前の場面で持っていた工具が次で変わる、必要な作業が抜けるといった不整合を確認し、問題のショットだけ作り直す。担当者が絵コンテを確認してから動画化する工程にすれば、物語上の誤りを早い段階で確認できる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、人物、道具、作業順序を人が定義した少数の台本を用意する。同じ生成器と生成予算で、初回のみ、固定批評による修正、学習済みの反復修正を比較する。
欠陥の見逃しと誤指摘、修正で新たに壊したショット数、合格までの生成回数と時間を測る。評価担当者には手法名を見せず、同一人物の維持と手順の正しさを別々に確認して、自己採点への偏りも点検する。
限界と課題
確認できた本文の範囲では、データ作成と学習中の再注釈に外部の教師VLMを用いている。試験時に外部の指導を要しないことを、学習全体が外部評価なしで成立する意味へ広げてはいけない。コードは公開予定として記載される。
編集上の確認点は、映画から作った評価と業務動画の違い、同じ方策が制作と批評を担う場合の共通した見落としである。指標の改善だけで手順の正確さを保証せず、修正上限までの費用と人による検証を含めて評価したい。
出典
元のタイトル・要旨を確認する（英語）
CineEvolve: An Agentic Self-Evolution Framework for Cinematic Multi-Shot Video Generation
Cinematic multi-shot video generation requires both narrative planning and iterative refinement. Existing methods either lack narrative reasoning or rely on feed-forward workflows without policy updates. In this paper, we propose CineEvolve, an agentic self-evolution framework for cinematic multi-shot video generation that unifies a Director and a Critic within a single vision-language policy. Emulating real-world filmmaking that couples iterative direction with critical feedback, we train CineEvolve via alternating reinforcement learning, where the Director surfaces flaws to sharpen the Critic, and the updated Critic guides the Director's targeted revisions. To stabilize co-evolution, we introduce Evolutionary GRPO (E-GRPO), leveraging historical anchoring and revision safeguarding to mitigate advantage inflation. Additionally, we contribute CineTraj, a 40K cinematic trajectory dataset spanning creation, critique, and revision. Extensive experiments demonstrate that CineEvolve outperforms existing approaches. Our code will be available at https://github.com/JingZhe-8/CineEvolve.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-22