アーカイブ / Audio
動画の動作に合わせて音を作るPrismAudio：内容・時刻・音質・左右の位置を分けて計画
PrismAudio
PrismAudioの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of PrismAudio . Left panel: the progress of CoT training data construction using Gemini 2.5 Pro and then fine-tuning VideoLLaMA2 for decomposed CoT generation (Section 3.2 ). Right panel: the Fast-GRPO multi-dimensional CoT-RL framework (Section 3.3 ) for post-training the Audio Foundation Model (Section 3.1 ).
概要
- 動画から音を作る前に、内容・時刻・音質・空間配置を四つの文章で計画する。
- VGGSoundテストセットでは、著者らはThinkSoundより高いCLAP値と低いDeSync値を報告した。
- AudioCanvasは3,177本の動画を含むが、確認できた本文ではPrismAudioの結果表による数値比較はできない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PrismAudioの仕組み
- 01無音動画と任意の文
- 02四視点の計画文
- 03条件付き音声生成
- 04ステレオ音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
無音動画から効果音を作るには、映像に合う種類の音を選ぶだけでは足りない。動作した瞬間に鳴り、聞こえ方が自然で、ステレオ音声の左右の位置も映像に沿う必要がある。ステレオ音声とは左右二つの音の通り道を持つ音声である。
著者らは、音の内容・時刻・音質・空間配置を一つの目標で扱うと、目標同士が競合すると指摘する。例えば音の種類が合っていても、鳴る時刻がずれる可能性がある。制作で使う際には、各面を分けて確認できることが役立つ。
手法
PrismAudioは動画と任意の文章を受け取り、映像に対応する音声を作る。まず動画と言語を扱うモデルが、音の内容、出来事の順序、音質、音源の方向や距離について、四つの計画文を作る。これは生成前に音の条件を言葉で整理する手順である。例えば右側で物が落ちる映像なら、衝突音とその時刻、聞こえ方、右側という位置を記述し、音声生成モデルに渡す。
学習時には、文章と音の一致、映像との同期、音の審美的な評価、左右の位置を測る報酬を組み合わせる。GRPOは同じ条件から作った複数の候補を相対評価してモデルを調整する方法である。Fast-GRPOでは生成工程の短い区間だけに確率的な変化を加え、残りは決定的に処理して、学習時に評価する段階を絞る。
新規性
著者らが新規性として挙げるのは、動画から音を作る前の計画を、内容・時刻・音質・空間の四つに分け、各視点に対応する報酬で生成モデルを調整する構成である。報酬とは、生成した音を評価して学習に使う数値を指す。
Fast-GRPOでは、音を段階的に作る工程のうち、ランダムに選んだ短い区間だけを確率的に処理する。著者らは、全工程を確率的に処理する従来のGRPO実装より、学習時の計算を減らす設計として提示している。
従来手法との違い
ThinkSoundも音を生成する前に文章で計画するが、著者らによれば、一つの推論経路で音の内容や時刻などを扱う。PrismAudioは計画を四つに分け、それぞれに対応する評価信号を学習に使う。映像の読み取りにはVideoPrism、計画文の処理にはT5-Gemmaを採用している。
VGGSoundテストセットでは、ThinkSoundのCLAPが0.43、PrismAudioが0.47だった。CLAPは説明文と音の内容の一致を測る指標である。ただし両者には計画方法以外の構成差もあり、この比較だけで改善分を四分割した計画に帰することはできない。
実験結果
著者らは、学習に用いたVGGSoundのテストセットで、ThinkSoundと比較した。PrismAudio対ThinkSoundは、CLAPが0.47対0.43、映像と音の同期ずれを測るDeSyncが0.41対0.55、空間誤差を測るCRWが7.72対13.47だった。DeSyncとCRWは低いほどよい。
人による平均評点のMOS-Q（音質）は4.21対4.05、MOS-C（映像との整合性）は4.22対4.18と著者らは報告する。分布外評価用のAudioCanvasには3,177本の動画、単一イベント300クラス、複数イベント501件が含まれる。確認できた本文の範囲では同データセットの結果表が欠けており、PrismAudioの指標値を用いた比較はできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：無音の製品紹介動画に、動作に合う効果音の下書きを付ける。入力は製品の動作を映した動画と任意の文章、出力は編集者が映像に重ねて確認するステレオ音声とする。追加の専用センサーは使わず、動画を入力とする想定である。
編集者は音の種類、鳴る時刻、左右の位置、聞こえ方を確認して採否を決める。既存モデルを試す段階では追加学習を前提としない。製品固有の音へ適応させる場合は、対象製品の動画と対応音声の組、動作時刻と音源位置の注釈を用意し、適応の必要性から検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の無音動画を少数選び、まず既存モデルの出力を評価する。比較用には同じ場面の対応音声、動作時刻の注釈、左右を比べる場面では音源位置の注釈を用意する。入力には動画を使い、追加センサーを設けない条件で試す。
同じ動画に既存の音付け手順とPrismAudioを適用し、音の種類、動作と音の時刻差、左右の位置、編集者の聞き心地の評点、修正時間を記録する。製品固有の音が再現できない場合に限り、動画と音声の組を適応用データとして集め、注釈を確認してから再評価する。
限界と課題
著者らは、既存の動画から音を作る手法では評価目標が競合し、一つの面を優先すると別の面が損なわれ得ると説明する。また、複雑な場面では音と映像の対応や時刻合わせが難しいと述べる。これらは主に提案の動機であり、PrismAudio固有の失敗条件を示す結果ではない。
編集上の検証事項は、画面外の音、同時に起きる複数の動作、左右の定位を、対象動画でどこまで扱えるかである。VGGSoundでの比較には映像・文章の処理器の変更も含まれるため、計画の分割や報酬それぞれの寄与を判断するには、対応する切り分け結果の確認が要る。
出典
元のタイトル・要旨を確認する（英語）
PrismAudio: Decomposed Chain-of-Thoughts and Multi-dimensional Rewards for Video-to-Audio Generation
Video-to-Audio (V2A) generation requires balancing four critical perceptual dimensions: semantic consistency, audio-visual temporal synchrony, aesthetic quality, and spatial accuracy; yet existing methods suffer from objective entanglement that conflates competing goals in single loss functions and lack human preference alignment. We introduce PrismAudio, the first framework to integrate Reinforcement Learning into V2A generation with specialized Chain-of-Thought (CoT) planning. Our approach decomposes monolithic reasoning into four specialized CoT modules (Semantic, Temporal, Aesthetic, and Spatial CoT), each paired with targeted reward functions. This CoT-reward correspondence enables multidimensional RL optimization that guides the model to jointly generate better reasoning across all perspectives, solving the objective entanglement problem while preserving interpretability. To make this optimization computationally practical, we propose Fast-GRPO, which employs hybrid ODE-SDE sampling that dramatically reduces the training overhead compared to existing GRPO implementations. We also introduce AudioCanvas, a rigorous benchmark that is more distributionally balanced and covers more realistically diverse and challenging scenarios than existing datasets, with 300 single-event classes and 501 multi-event samples. Experimental results demonstrate that PrismAudio achieves state-of-the-art performance across all four perceptual dimensions on both the in-domain VGGSound test set and out-of-domain AudioCanvas benchmark. The project page is available at https://PrismAudio.github.io.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01