アーカイブ / Audio / Computer Vision
動画中の音を時刻と種類で特定する：複数の音声特徴を組み合わせた手法
Temporal Sound Localisation
Temporal Sound Localisationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : This network utilizes a multimodal fusion approach for action detection. Video features are extracted using the UMT model, while audio features are generated from the BEATS model and two variants of CAV-MAE, fine-tuned on AudioSet and VGGSound, respectively. The audio outputs are concatenated to form a comprehensive audio representation. Subsequently, the fused video and audio features are processed by the Actionformer network, with the final action detection results refined through a post-processing step using Weighted Box Fusion.
概要
- BEATSと2種類のCAV-MAEの音声特徴を連結し、映像特徴と時刻を合わせて音の種類と区間を推定する。
- 表1のmAPは基準方式0.3925、音声と映像の追加特徴を使う条件0.4710、候補統合後0.4925。ただし各行の評価データ区分は明示されていない。
- 著者らは公式の最終テストでmAP 0.4925、1位と報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Temporal Sound Localisationの仕組み
- 01音声付き動画
- 02音声・映像の特徴抽出
- 03時刻合わせと結合
- 04区間候補の統合
- 05音の時刻と種類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、音声付き動画に現れる音の種類と、鳴り始めから終わりまでの時間区間を推定する。時系列音定位と呼ばれる課題で、事前に定めた種類に沿って動画内の音を探す。長い録画から確認箇所を絞る際には、種類だけでなく時刻も役立つ。
著者らは、映像と音声を同じ重みで組み合わせた前年の大会優勝方式を基準にした。音の区間を探す課題では音声情報を重視すべきだと考え、特徴の追加と予測の統合を試している。
手法
入力は音声付きの未編集動画。音声を、周波数ごとの強さを時間順に表したメルスペクトログラムに変換し、BEATSと、AudioSet・VGGSoundでそれぞれ調整されたCAV-MAEから特徴を取り出す。各768次元の音声特徴を連結して2304次元にし、映像からはUMT-LargeとVideoMAE-Largeの特徴を得る。
音声と映像の特徴を補間によって時刻で合わせ、結合してActionformerに入力する。このモデルは複数の時間幅の情報を処理し、音の種類と開始・終了位置の候補を出す。例えば一つの音について区間と種類の候補を得た後、映像特徴の構成と学習時点が異なるモデルの予測を、時間区間向けに調整した重み付き候補統合でまとめる。統合する各モデルの重みは同じである。
新規性
著者らの提案は、前年の大会優勝方式を基準に、BEATSと2種類のCAV-MAEから得た音声特徴を連結し、映像特徴と組み合わせる点にある。狙いは、音が鳴る区間の推定に使う音声情報を厚くすることだ。
さらに、映像特徴の構成と学習時点が異なるモデルの予測を、時間区間向けに調整した重み付き候補統合でまとめる。本文の表は特徴の追加と統合後の値を示すが、各音声モデル単独の寄与は分けて示していない。
従来手法との違い
比較基準は、著者らが採用した前年のPerception Test Challenge優勝方式で、表1のmAPは0.3925。追加のCAV-MAE音声特徴だけを使う条件は0.4560、追加のVideoMAE映像特徴だけを使う条件は0.4102だった。
両方の追加特徴を使う「All」は0.4710、候補統合後の「WBF」は0.4925と報告された。これらは著者らの構成要素を変えた比較であり、他の課題や録音環境でも同じ差が出ることを示す値ではない。
実験結果
著者らはPerception Test Challengeのtrack 3を使用した。データは映像と音声を含み、対象は17種類の音イベント。著者らはモデルの学習に大会の公式訓練データのみを使い、検証用とテスト用にも公式データを用いたと述べる。特徴抽出には、AudioSetやVGGSoundで調整されたモデルも使用している。
評価指標はmAPで、予測区間と正解区間の重なりを表すIoUの閾値を0.1から0.5まで0.1刻みで評価する。表1のmAPは基準方式0.3925、音声特徴追加0.4560、映像特徴追加0.4102、両方追加0.4710、候補統合後0.4925。著者らは最終テストでもmAP 0.4925で1位と報告するが、表1の各行の評価データ区分は明示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検の録画から、事前に定めた異音の種類と、その開始・終了時刻の候補を一覧にする。入力はカメラ映像とマイク音声を含む動画、出力は担当者が再生して確認する時間区間と種類である。
試すには、対象設備の動画と録音、種類と区間を人手で付けた学習用ラベル、撮影用カメラと録音用マイクが必要になる。現場の異音に合わせて分類先と学習データを整え、出力を人が確かめる運用を想定する。点検での効果は本報告では検証されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象設備について、カメラ映像とマイク音声を含む動画を集め、異音の種類と開始・終了時刻を人手で付ける。必要なセンサーはカメラとマイク。録音位置や設備の違いを記録し、現場で扱う音の種類に合わせて分類先と学習データを調整する。
小規模な試験では、同じ動画とラベルを使い、追加の音声特徴を入れる前の構成を比較基準にする。学習に使わない動画で、区間のmAPを同じIoU閾値で測り、種類別の見逃しと誤検出、担当者の確認時間も記録する。結果を見て、候補統合まで使うか判断する。
限界と課題
確認できた本文の範囲では、著者らによる運用上の限界の明示は見当たらない。表1には各行の評価データ区分が記されておらず、最終テストのmAP 0.4925は本文で別途報告されている。また、要旨には音声特徴のモデルとしてInterVideoとVideoMAEも挙がるが、手法節で具体的に説明される音声特徴はBEATSと2種類のCAV-MAEである。
編集上の検証事項は、対象外の音、音の重なり、録音位置の変化に対して、種類と区間の推定が保たれるかどうか。特徴抽出と複数予測の統合に要する処理時間も、導入先の動画量で測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Solution for Temporal Sound Localisation Task of ECCV Second Perception Test Challenge 2024
This report proposes an improved method for the Temporal Sound Localisation (TSL) task, which localizes and classifies the sound events occurring in the video according to a predefined set of sound classes. The champion solution from last year's first competition has explored the TSL by fusing audio and video modalities with the same weight. Considering the TSL task aims to localize sound events, we conduct relevant experiments that demonstrated the superiority of sound features (Section 3). Based on our findings, to enhance audio modality features, we employ various models to extract audio features, such as InterVideo, CaVMAE, and VideoMAE models. Our approach ranks first in the final test with a score of 0.4925.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01