アーカイブ / Audio / Generative AI / AI Agent / VLM
音声付き動画の編集をどう測るか：AVE-CompassとAVE-Agent
AVE-Compass
AVE-Compassの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of AVE-Compass. Given the same editing instruction, the four panels illustrate characteristic ways current audio-visual editing models drift, with IF (Instruction Following) and FP (Fidelity Preserving) marks indicating where each output breaks.
概要
- AVE-Compassは145本の元動画、196件の編集指示、2,688件の確認項目で音声付き動画の編集を評価する。
- 著者らの評価では、AVE-Agent（Wan）の総合Editing Intentは59.8で、Wan2.7の42.4を上回った。
- AVE-Agent（Wan）のAV SyncはWan2.7を上回った一方、発話課題のSpeech Qualityは下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AVE-Compassの仕組み
- 01元動画と編集指示
- 02内容分析と小作業計画
- 03映像・音・発話の編集
- 04統合結果の点検
- 05編集済み動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声付き動画では、画面の動作を変えると対応する音も変える必要がある。一方で、編集対象ではない会話や環境音は残したい。映像か音の片方だけを調べても、変更と保持の両立や、両者の時刻のずれは捉えにくい。
AVE-Compassは、このような編集を評価する基準である。著者らは指示の達成、元動画の保持、完成結果の自然さなどを分けて調べ、さらに編集作業を計画して進めるAVE-Agentを提案した。
手法
AVE-Compassは、元動画の内容と編集指示から、変更の実行や非対象部分の保持を問う「はい・いいえ」形式の確認項目を作る。映像・音・文章を扱う複数モード対応言語モデルを判定役に使い、自然さは別の評価基準で調べる。音と映像の時刻の一致、映像品質、音声品質などには自動指標も用いる。
AVE-Agentは場面、被写体、動作、音を整理し、指示を依存関係のある小作業に分ける。たとえば動作を変える場合、対応する音の変更も計画に含める。映像・音・発話の作業ごとに結果を点検し、必要なら修正する。組み合わせた動画も再評価し、音の混合、該当作業、計画のどこを直すかを決める。
新規性
著者らの提案は、指示どおりの変更、元動画の保持、完成結果の自然さを分けて調べ、変更の実行と保持を両立できたかも評価する点にある。映像だけ、音だけの編集でも、触れていない側が保たれたかを確認する。
併せて提案するAVE-Agentは、指示に含まれる映像と音の依存関係を小作業の計画に表す。各作業の結果と、組み合わせた後の動画を点検し、判定に応じて修正する。
従来手法との違い
著者らはWan2.7、HappyHorse、Gemini-Omni、Seedance、LTX2.3-Retakeを比較対象とし、AVE-Agent（Wan）を含む６方式を評価した。AVE-Agent（Wan）とWan2.7の数値差は読めるが、計画や点検の各要素だけの効果を切り分けた比較ではない。
著者らは、変更のために元の内容を変えすぎる例と、内容を保っても指示された編集を実行しない例を報告する。そのため、Editing Intentでは変更の実行と非対象部分の保持を併せて評価している。
実験結果
著者らは、145本の元動画、196件の編集指示、2,688件の確認項目から成るAVE-Compassで６方式を評価した。課題には映像と音の同時編集、発話、映像のみ、音のみの編集が含まれる。表のEditing Intentは指示の達成と非対象部分の保持を併せた指標である。
著者らの表では、総合Editing IntentはAVE-Agent（Wan）が59.8、Wan2.7が42.4だった。AV Syncはそれぞれ0.766、0.693。一方、発話課題だけで算出したSpeech Qualityは0.368、0.428でAVE-Agent側が低い。Gemini-Omniはコンテンツ審査により発話編集16件の結果が欠けている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品紹介動画で、画面内の動作を変えたときに対応する効果音も直す試作を考える。入力は音声付きの元動画と編集指示で、出力は編集済み動画と、変更対象・保持対象ごとの確認記録とする。
学習用の元動画が何本必要かは確認できた本文の範囲では不明である。試作では評価用の元動画を集め、動作と音の対象、残す会話や環境音、その時刻を人が記録する。録画済み素材を使うため追加センサーは想定せず、商品の動作と音源に合わせて指示と確認項目を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：音声付きの短い業務動画と編集指示を評価用に集める。人が変更対象の映像・音、残す内容、発生時刻を正解確認用のラベルとして記録する。学習用データの必要量や再学習の要否は確認できた本文の範囲では不明で、録画済み素材なら追加センサーは想定しない。
同じ元動画と指示をWan2.7単体とAVE-Agent（Wan）に与え、編集達成率、非対象部分の保持率、音と映像の時刻のずれを人の確認記録と照らして比べる。発話があれば聞き取りやすさも確認する。現場の音源に合わせて指示と確認項目を調整し、作業時間も記録する。
限界と課題
著者らは、評価した方式で背景音が誤って削除・変形されることや、映像上の出来事と音の時刻が合わないことを報告する。表ではAVE-Agent（Wan）のSpeech QualityがWan2.7を下回り、測定した全項目が改善したわけではない。
編集上の検証事項は、判定役の複数モード対応言語モデルと人の判断がどれほど一致するか、扱う題材や音源を変えても結果が保たれるかである。これらは著者らが実証した限界としてではなく、導入前に確かめる論点として挙げる。
出典
元のタイトル・要旨を確認する（英語）
AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities
While instruction-based video editing has advanced rapidly, real-world videos contain tightly coupled audio and visual signals, and editing one modality often requires coordinated changes in the other. Existing benchmarks primarily evaluate visual transformations on silent clips or isolated audio editing, leaving complex audio-visual editing and cross-modal consistency underexplored. We introduce AVE-Compass, a comprehensive benchmark with 145 curated source videos, 196 audio-visually coupled editing instructions, and 2,688 fine-grained checklist items. It evaluates Instruction Following, Fidelity Preserving, Realism, and Editing Intent through checklist-based MLLM judging and a dedicated realism rubric, complemented by automated cross-modal, video, and audio metrics. Extensive evaluation shows that state-of-the-art models still struggle to execute cross-modal instructions while preserving non-target content. We further propose AVE-Agent, a modular agent framework that decomposes complex instructions into dependent subtasks and iteratively improves editing results through self-reflection and evaluator feedback. AVE-Agent improves instruction execution, Fidelity Preserving, and audio-visual alignment in joint editing while maintaining competitive perceptual quality.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01