アーカイブ / Audio / Computer Vision
画像と音声から共通の音源を取り出し、画像内の位置を示す手法
Joint Slot Attention
Joint Slot Attentionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Difference between previous work and ours. For contrastive learning of SSL, our method identifies and utilizes pairs of relevant image region and audio segment, while previous work exploits a local image feature and the global audio feature.
概要
- 画像と音声の特徴を対象側と残りに分け、対象側の対応から音源領域を学習する。
- VGGSoundの14.4万件で学習したVGG-SSの音声から画像への検索で、著者らが報告したR@1は30.61だった。
- 工場への適用には、同期収録した現場の画像・音声の組と、領域ラベルを付けた評価データでの検証が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Joint Slot Attentionの仕組み
- 01画像と音声の組
- 02特徴を抽出
- 03対象と残りに分解
- 04音源領域を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、音声と組になった画像の中で音の発生源を探し、領域として示す。複数の物体が映る場面では、聞こえた音だけを手掛かりに画像内のどれが鳴っているかを特定する必要がある。
音源の位置を画像ごとに記録する作業は高コストなため、著者らは位置ラベルを使わず、画像・音声の組から学ぶ設定を扱う。背景や画面外の音が混ざると、音源と無関係な情報まで対応付けるおそれがある。
手法
画像と音声を別々のモデルで、比較に使う数値のまとまりである特徴へ変換する。共通の初期状態を持つ二つのスロットが、画像の各位置と音声の各時間帯の特徴を競って集め、音源に関係する対象側と残りの側に分ける。たとえば機械が映って鳴る場面なら、画像と音声に共通する機械の特徴を対象側に集めることを狙う。
学習では同じ組の対象側を近づけ、別の組と区別する。対象と残りを異なる特徴にする損失や、元の特徴を復元する損失も使い、音声から画像を見る注目の分布を画像側の分布に近づける。推論では音声の対象スロットが画像の各位置へ向ける注目を画像サイズに広げ、しきい値を超える画素を音源領域として出力する。
新規性
著者らは、画像と音声に共通の初期スロットを使い、それぞれの特徴を音源に関係する部分と残りの部分へ分ける手法を提案した。スロットは、入力の特徴を競い合って集める学習可能な枠を指す。
加えて、音声側から画像の各位置を見る注目の分布を、画像側だけで得た分布に近づける。これにより、画像と音声の組全体の対応に加え、位置ごとの対応も学習する。
従来手法との違い
比較対象となる従来の学習法は、音声を全体で一つの特徴にまとめ、その音声に最も近い画像内の一か所の特徴と対応付ける。著者らは、画面外の音や雑音が音声の特徴に混ざること、一か所への注目では音源の一部分を捉えやすいことを課題とする。
提案法は、画像と音声の双方から対象の特徴を取り出して対応付け、音声の対象スロットが画像の各位置に向ける注目から領域を得る。報告された位置特定の表の提案法には、画像側の注目を混ぜる補正も適用されている。
実験結果
著者らはFlickr-SoundNetとVGG-Soundから、それぞれ1万件と14.4万件の学習用部分集合を使い、Flickr-SoundNet-Test、VGG-SS、AVSBenchで評価した。位置特定の表に載る提案法の結果には、画像側の注目を混ぜる補正が適用されている。
VGGSoundの14.4万件で学習し、物体誘導を使わないVGG-SS評価では、報告されたcIoUは提案法40.62、Alignmentが39.94、NoPriorが41.4だった。同じ学習集合を使うVGG-SSの音声から画像への検索では、R@1は提案法30.61、Alignmentが16.47。R@1は最初の検索結果が正解である割合を表す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場の設備点検で、機械音に対応しそうな画像内の領域を作業者へ示す。入力は既設カメラの映像から選んだ画像と、同じ時点に録音したマイク音声で、出力は候補領域の地図とする。作業者は元の映像と照らして確認する。
現場への適応には、その設備で同期収録した画像・音声の組を学習用に集める。学習用の音源位置ラベルは使わない設定とし、評価用には作業者が領域ラベルを付ける。撮影位置や音の種類に合わせた調整が必要かを現場データで確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既設カメラとマイクで同期収録した現場データから、画像と対応する音声の組を作る。音源位置ラベルなしの組を学習用とし、評価用の場面には作業者が領域ラベルを付ける。まず撮影位置と録音条件ごとにデータを分け、現場データへの適応後も同じ条件で比較する。
比較基準には、音声全体の特徴と画像内で最も近い一か所の特徴を対応付ける方法を置く。両者の出力領域と人が付けた領域との重なりを測り、画面外の音や複数音源がある場面の誤表示も数える。作業者による領域の修正件数と確認時間を記録し、点検に使えるか判断する。
限界と課題
著者らが明示したのは従来法の課題であり、画面外の音や雑音を音声全体の特徴に含めること、画像内の一か所だけでは音源の一部分に注目しやすいことである。確認できた本文の範囲では、提案法の現場雑音への耐性や処理時間を限界として報告する記述は確認できない。
編集上の検証事項は、複数の設備が同時に鳴る場面、音源が画面外にある場面、映像と音声がずれた場面での誤表示である。公開データでの数値から、工場での位置特定精度や点検時間の短縮を判断することはできない。
出典
元のタイトル・要旨を確認する（英語）
Improving Sound Source Localization with Joint Slot Attention on Image and Audio
Sound source localization (SSL) is the task of locating the source of sound within an image. Due to the lack of localization labels, the de facto standard in SSL has been to represent an image and audio as a single embedding vector each, and use them to learn SSL via contrastive learning. To this end, previous work samples one of local image features as the image embedding and aggregates all local audio features to obtain the audio embedding, which is far from optimal due to the presence of noise and background irrelevant to the actual target in the input. We present a novel SSL method that addresses this chronic issue by joint slot attention on image and audio. To be specific, two slots competitively attend image and audio features to decompose them into target and off-target representations, and only target representations of image and audio are used for contrastive learning. Also, we introduce cross-modal attention matching to further align local features of image and audio. Our method achieved the best in almost all settings on three public benchmarks for SSL, and substantially outperformed all the prior work in cross-modal retrieval.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01