アーカイブ / Audio
生成済みの音を手がかりに、映像の効果音を一つずつ作る
Negative Audio Guidance
Negative Audio Guidanceの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Step-by-step video-to-audio generation for compositional sound effect creation. Video often contains numerous audible events, and Foley artists synthesize composite audio by adding missing audio components step-by-step. Supporting this step-by-step generation with a video-to-audio generation model offers greater control and efficiency in sound creation.
概要
- 映像と音の指定文から、効果音を個別トラックとして順に生成する。
- 生成済み音声を負の条件に使い、次のトラックに既出音が重なることを抑える。
- 著者らの評価では、MMAudio-S-16kの独立生成より合成音のFDPANNsとKLPaSSTが低く、ISは低下した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Negative Audio Guidanceの仕組み
- 01映像と音の指定文
- 02最初の音を生成
- 03既存音を条件に次の音を生成
- 04個別音を合成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
映像から音声を作る既存の方法は、一般に完成した音を一度に出す。特定の効果音だけが足りない場合でも全体を作り直すことになり、出来事ごとに音を調整しにくい。
フォーリーは映像に合わせて効果音を作り、重ねる制作作業を指す。この研究はその手順に倣い、映像中の音の出来事を個別トラックとして順に生成し、後から合成する課題を扱う。
手法
入力は映像と、作りたい音を一つずつ記した文章である。最初のトラックは通常の映像・文章を条件とする生成で作る。二つ目以降は、映像と新しい指定文に加え、生成済みトラックの合成音を参照する。例えばヘラジカが水辺を歩く映像で、水音に続いて別の音を作る際、先の水音が再び入る方向を弱める。
この調整がNegative Audio Guidance（負の音声誘導）である。基盤のMMAudioに音声条件を受け取る部分を追加し、基盤部分を固定して追加部分を学習する。学習時は同じ音声素材から重ならない四秒の区間を二つ取り、一方を参照音、他方を生成対象にする。最後にトラックを足し合わせ、音量を正規化する。
新規性
Negative Audio Guidanceは、先に生成した音声を「次の音に含めたくない内容」の条件として使う。新しい指定文に沿う方向を強めながら、既存音に近づく方向を弱める点が提案の中心である。
追加の音声条件を学習する際は、同じ素材から時間の重ならない区間を取る。これにより、一本の映像に対して分離済みの複数の正解音声トラックを用意せずに、追加部分を学習できる。
従来手法との違い
比較対象は、五つの音を互いに参照せず作る独立生成と、前に使った説明文を否定条件にする逐次生成である。提案法は説明文の代わりに生成済み音声を条件に使い、次の音に既出音が重なることを抑える。
著者らはSeeing-and-Hearing、FoleyCrafter、基盤となるMMAudioも評価した。五つの説明文をまとめて一度に使う生成は、個別トラックを出せないため、合成音の参考値として示されている。
実験結果
著者らはVGGSoundのテスト分割15,221本について、映像だけを見たモデルで異なる音の説明文を五つ作り、各映像の冒頭八秒から五トラックを生成した。合成音は音質、映像との意味的な一致、時間的な一致で評価し、個別音にはトラック間の類似度などを用いた。
MMAudio-S-16kによる独立生成と比べ、提案法の合成音はFDPANNsが7.76から7.32、KLPaSSTが1.84から1.78となった。一方、ISは10.42に対し10.21で、独立生成を下回る。著者らは個別音の分離改善も報告するが、確認できた本文の範囲ではその表の数値を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業風景の短い映像に、足音と機械音を別トラックで付ける。入力は映像と各音を指定する文章、二つ目の生成時には先に作った足音である。出力を個別に聴き、必要なら機械音だけ作り直してから合成する。
この試行では、映像に対応する音の指定文を編集者が用意する。既存モデルを使う想定なら新たな学習データや音源別の正解ラベル、追加センサーは要しない。対象映像への適応や効果は、実際の素材で検証する必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い映像と、出来事ごとの音の指定文を用意する。同じ映像・指定文で独立生成と提案法を試し、各トラックへの既出音の混入、指定音との一致、合成後の聞き取りやすさを人が記録する。
再学習する場合は、本文と同様に映像・音声・文章の対応データと、文章付き音声データを用意し、同一素材から重ならない区間を取って音声条件部分を適応させる。学習手順に音源別の正解ラベルはなく、入力映像を得るための追加センサーも想定しない。
限界と課題
著者らは、一本の映像から複数の正解音声トラックを得る難しさを、学習方法を設計する理由として挙げている。確認できた本文の範囲では、主観評価の人数・手順・数値や、運用上の限界についての明示的な記述は確認できない。
編集上の検証事項は、映像にない音を指定したときの挙動、生成順による差、合成後の聞き取りやすさである。評価用の説明文は映像だけから作られ、元の音声は参照していない。この評価から編集時間の短縮までは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance
We propose a step-by-step video-to-audio (V2A) generation method that provides finer control over the generation process and more realistic audio synthesis. Inspired by traditional Foley workflows, our approach enables incremental generation of complementary sounds, allowing users to author multiple sound events induced by a video. To avoid the need for costly multi-reference video-audio datasets, each generation step is formulated as a negatively guided V2A process that discourages duplication of sounds already present in previously generated tracks. The guidance model is trained by finetuning a pre-trained V2A model on audio pairs from non-overlapping segments of the same video, encouraging it to leverage acoustic context while remaining visually grounded, and enabling training with standard single-reference audiovisual datasets. Objective and subjective evaluations demonstrate that our method enhances the separability of generated sounds at each step and improves the overall quality of the final composite audio, outperforming existing baselines. Our project page is available at: https://ahykw.github.io/sbsv2a/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01