アーカイブ / Audio / Computer Vision
重なる音から発音体を見分け、映像の中で追跡するHear to See
Hear to See
Hear to Seeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Comparison between previous methods and ours. (a) Previous methods suffer from ambiguous correspondence with mixed audio, and their fixed-window modeling causes insensitive tracking of asynchronous sounding states. (b) Our method achieves precise matching by disentangling acoustic sources, and enables adaptive state-aware tracking by dynamically modulating state transitions via Δ \Delta . The figure illustrates the comparison between previous methods and ours.
概要
- 混合音を音源ごとに分け、映像中の個体との対応と追跡に使う。
- 音の変化に合わせて追跡状態の更新を調整し、発音と無音の切り替わりを扱う。
- AVISegで評価しているが、要旨のmAP 48.54と本文比較表の57.37は条件の対応を確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Hear to Seeの仕組み
- 01音声と動画
- 02音源を分離
- 03音と物体を対応
- 04追跡状態を更新
- 05個体別の領域
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Hear to Seeは、動画の中で音を出している物体を個別に見つけ、その輪郭を画素単位で示して追跡する。これを音映像個体分割と呼び、同じ種類の物体が複数映るときにも、どれが鳴っているかを分ける必要がある。
マイクには複数の音が重なって入り、映像では物体が見えていても発音と無音が切り替わる。音と見た目の変化が同時とは限らず、音が止まった物体を見失わずに追うことが課題になる。
手法
入力動画を短い区間に分け、対応する音声を取り出す。音源分離モデルで混合音を複数の流れに分け、映像から得た特徴と照合する。例えば二つの楽器が映る場面なら、分離した音の特徴と各楽器の見た目の特徴をまず意味の近さで結び、画像内の位置へ対応を戻す。
その後、各時点の物体候補を時系列で追う。追跡に用いるMambaは、過去の情報を内部の「状態」として持つ系列モデルで、Hear to Seeでは音の変化がその状態の更新速度を調整する。最後に物体の種類と、音を出す個体ごとの画素領域を予測する。
新規性
Hear to Seeは、混ざった音を音源ごとに分けたうえで、音と映像の意味的な対応を探し、それを画像内の位置へ戻す構成を取る。音を一つの要約情報に縮めると失われやすい、音源ごとの差を追跡に使う狙いである。
もう一つの特徴は、音の変化に応じて映像側の追跡状態を更新する速さを調整する点にある。急な変化には現在の情報を強く使い、安定した区間では過去の対応を保つよう設計した。
従来手法との違い
従来の音と映像による個体の切り分けでは、混合音を抽象的な問い合わせ情報に変えたり、一定の長さの映像区間を同じように処理したりする。著者らは、重なる音の分離と、音の状態に合わせた追跡更新を組み合わせた。
論文のAVISeg比較表では、既存のAVISMはFSLAが42.78、H2Sは45.96だった。FSLAは各時点で音を出す物体を正しく見つけたかを見る指標である。ただし、数値は掲載表の条件に限られ、別の撮影環境での優劣までは示さない。
実験結果
著者らは、26の音カテゴリを含む926本のAVISeg動画で評価した。内訳は学習616本、検証105本、試験205本で、各動画には音を出す物体の画素領域が付いている。評価には、検出と追跡の質を見るmAP、検出と個体の対応を合わせて見るHOTA、各時点の音源位置を見るFSLAを用いた。
要旨は、COCOで事前学習したResNet50を用いた条件でmAP 48.54、従来最良より7.8％高いと報告する。一方、確認できた本文の比較表ではH2SのmAPは57.37である。両数値の実験条件の対応は、確認できた範囲だけでは特定できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場内の複数の機械が映る点検動画で、異音が出た機械を画面上で示す。入力をマイク音声と同期した映像とし、出力を音に対応する機械ごとの画素領域と、その領域を追う時系列記録にする。
点検担当者は提示された領域と時刻を動画で確認し、保守記録に結び付ける。隣接機械の音が重なる場面や、音が一時的に止まる場面を含めて評価する必要がある。この用途での性能は論文の結果から直接は分からない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ画面に複数の発音体が入る短い動画を選び、音が重なる区間と無音区間を含める。担当者が各時点の発音体と輪郭を付け、映像だけで追跡する設定を比較の基準にする。
H2S型の出力について、発音体の検出、画素領域の重なり、無音を挟んだ後の個体の取り違えを別々に数える。特に画面外から聞こえる音を含め、音源分離の結果と領域表示の誤りが結び付いていないかを確認する。
限界と課題
確認できた本文の範囲では、著者らによる独立した限界節は読めない。方法の説明からは、音源分離の誤りが映像との対応付けへ伝わること、音が止まった後の同一個体の追跡が難しいことが確認すべき論点となる。
編集上の確認点は、音が重なる数、無音の長さ、画面外の音源が結果にどう影響するかである。掲載された評価はAVISeg上のもので、工場のような別領域の音や映像については追加測定が要る。
出典
元のタイトル・要旨を確認する（英語）
Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation
Audio-visual instance segmentation (AVIS) requires accurately identifying and tracking individual sounding objects with pixel-level masks. Existing methods struggle to match overlapping acoustic events with visual instances and handle asynchronous audio-visual dynamics. Therefore, two critical questions arise: how can a model establish precise correspondence between overlapping sound sources and visual instances, and how can a model maintain robust tracking when audio and visual signals are temporally misaligned?This paper proposes Hear to See (H2S), addressing these challenges through two mechanisms. The Acoustic-Semantic Projector (ASP) disentangles mixed audio and establishes hierarchical correspondence from semantic to spatial domains. The Asynchronous Dynamics Modulator (ADM) adaptively adjusts state transitions via audio-modulated Mamba, prioritizing current information during dynamic variations and maintaining continuity in stable periods.Experiments on AVISeg show H2S achieves SOTA performance, attaining 48.54 mAP with a COCO pretrained ResNet50 and surpassing the previous by 7.8\%. The code will be open-sourced once the paper is accepted. The source code will be publicly available at https://github.com/leiyeliu/H2S.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30