アーカイブ / Audio / Generative AI
映画の台詞が生じる時刻を使い、映像に合わせた音楽を生成する
Dialogue-Aware Video-to-Music Generation
Dialogue-Aware Video-to-Music Generationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Binned ialogue vs. music loudness (LUFS) on OSSL-v2 ( r = − 0.11 r{=}-0.11 ).
概要
- OSSL-v2は、パブリックドメイン映画から作った34,343クリップ、計246.4時間の自己ホスト型データ集合である。
- 提案手法は、分離した台詞の時刻ごとの音響情報で映像特徴を調整し、音楽生成の条件に加える。
- VidMuseでは両評価集合でKLダイバージェンスが改善したが、効果はモデルや指標によって異なる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dialogue-Aware Video-to-Music Generationの仕組み
- 01映像と映画音声
- 02台詞を音源分離
- 03台詞で映像特徴を調整
- 04場面の音楽
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画から音楽を作るモデルには、映像と対応する音楽の組が学習に要る。動画サイトのURLだけを配る方式では、削除や非公開によって後から同じデータを集められず、比較や再現が難しくなる。
著者らが既存の評価用動画300件を取得しようとした際は、10％超が利用できなかった。映画では音楽と台詞が時間的に関係し得るため、映像に加えて発話の時刻と音響的な変化を生成の手掛かりとして調べている。
手法
入力は映像とその音声である。音源分離で台詞を取り出し、音量やエネルギーなどの音響的特徴を、動画を構成する一枚ごとの画像であるフレームの時刻に合わせる。各フレームの内容を数値で表した映像特徴に、同じ時刻の台詞情報に応じた調整を加え、音楽生成モデルへ渡す。
例えば人物が話し始める場面では、その時刻の台詞の特徴が対応する映像特徴の調整に使われる。GVMGenにはフレームの位置情報も加え、生成中の音声が映像の時間順を参照できるようにする。学習用のOSSL-v2は、映画音声から音楽を分離し、音楽と判定された区間を映像と対にして作成した。
新規性
提案の核は、台詞から得た時刻ごとの音響情報で、既存モデルの映像特徴を調整する追加部品にある。VidMuseとDiff-V2Mでは、もともと時間順に並ぶ映像特徴に適用する。
GVMGenでは映像特徴に位置情報を加え、生成中の音声が各場面の時刻を参照できるようにする。あわせて著者らは、パブリックドメイン映画から作った34,343クリップ、246.4時間の自己ホスト型データ集合OSSL-v2を公開した。
従来手法との違い
比較対象は、動画から音楽を生成するVidMuse、GVMGen、Diff-V2Mの元モデルである。著者らは各モデルに台詞を使う追加部品を組み込み、同じOSSL-v2の学習・評価分割で元モデルと比較した。
データ集合については、先行する自己ホスト型OSSLが736クリップ、36.5時間なのに対し、OSSL-v2は34,343クリップ、246.4時間である。台詞を加えた効果はモデル、評価集合、指標によって異なり、全指標での改善は示されていない。
実験結果
著者らはOSSL-v2を9対1に分け、テスト集合3,332件と商用映画のOES-Com 100件で評価した。学習には各クリップから切り出した10秒区間を使い、推論では入力映像の全長に合う音楽を生成した。
生成音楽と対応する正解音楽の音響イベント分布を比べるKLダイバージェンスは、VidMuseで台詞を加えるとOES-Comでは1.47から0.85、OSSL-v2では0.94から0.82に下がった。一方、GVMGenのOSSL-v2でのCLAP類似度は0.43から0.39に下がった。著者らは、音楽の分布を比べるPrecisionとFADに一貫した改善はないと報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：台詞のある短い映画紹介映像に、編集前の仮の伴奏を付ける。入力は映像と収録済み音声、出力は映像の長さに合う音楽案とし、編集者が台詞の聞き取りやすさと場面との合い方を確認する。
適応には、利用できる映画映像と対応する音楽の組を学習データとして用意し、その対応関係を教師データとする。台詞は収録音声から分離して追加部品を学習する。文字起こしラベルや新たなセンサーはこの案では用いず、制作工程で役立つかは別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務で利用できる映像と対応音楽の組を学習データとして確保し、対応関係を教師データとして管理する。収録音声から台詞を分離し、元の音楽生成モデルと台詞を使う追加部品を同じデータ分割で学習する。新たなセンサーや文字起こしラベルは前提としない。
同じ評価映像で両モデルの音楽を生成し、対応する正解音楽とのCLAP類似度とKLダイバージェンスを比較する。編集者による台詞の聞き取りやすさの確認も加え、対象映像で採用できるかを判断する。
限界と課題
確認できた本文の範囲では、著者らは台詞の追加による改善が一様でないことを報告している。GVMGenでは商用映画の評価集合でKLダイバージェンスが下がる一方、OSSL-v2のテスト集合ではCLAP類似度が下がり、KLダイバージェンスも上がった。
編集上の検証事項は、分離した台詞に残る音楽の影響と、生成音楽が台詞の聞き取りを妨げないかである。著者らは残留音楽が少ない部分集合でも評価したが、個々の映像での編集上の使いやすさは、その指標だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
Video-to-music generation has drawn growing interest for its role in conveying the emotion of visual media, including film. Progress in the field, however, is hampered by a reproducibility gap: models are often trained on crawled corpora referenced through YouTube URLs that may be deleted, with the underlying data often difficult and time-consuming to retrieve. To address this, we introduce the Open Screen Soundtrack Library version 2 (OSSL-v2), a self-hosted corpus of 34,343 video clips totaling 246.4 hours, sourced from public-domain films. Unlike crawled corpora, OSSL-v2 is reproducible (i.e., not subject to link rot) and copyright-conscious, yet still large enough to train functional video-to-music models. We then use this film-domain corpus to study dialogue as a conditioning signal for video-to-music generation, motivated by the close temporal coupling between film music and on-screen speech. Specifically, we augment existing models' video cross-attention with a time axis and modulate it frame-by-frame with the dialogue track. Evaluated on both public-domain and commercial films, our approach shows improvement over the state-of-the-art baselines. The dataset is available at https://huggingface.co/datasets/McAuley-Lab/OSSL-v2.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01