新着研究 / Audio
鳥やクジラの録音から、周波数をまたぐ鳴き声を残して雑音を減らす
2D-SG
2D-SGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of the different steps of our 2-dimensional spectral gating method (2D-SG). The raw audio signal (a) is converted to a spectrogram (b), which is then smoothed using a Gaussian filter to compute a local average (c). The noise threshold (d) is estimated from the raw spectrogram and the mask (e, f) is applied to the spectrogram (g) before inverting it to reconstruct the denoised signal (h). The figure uses the “B335” recording from the NOIZEUS Birdsong dataset, with SNR 10 dB and “waterfall” noise.
概要
- 2D-SGは時間と周波数の近傍をならし、複数の周波数に広がる動物の声を残すマスクを作る。
- 鳥の模擬雑音データでは多くの条件でNoisereduceより良い値を報告する一方、最も雑音の強い条件のSI-SDRでは優位を示さなかった。
- 実録音での下流の検出・分類精度は未評価で、窓サイズとしきい値の調整が必要になりうる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、2D-SGの仕組み
- 01雑音入り録音
- 02時間周波数表示
- 03近傍平均と雑音しきい値
- 04マスク後の音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
野外の動物録音には風や水音などが入り、鳴き声の検出や種の識別を難しくする。録音場所や個体によって、声の形と雑音の強さも変わる。
一般的なスペクトルゲートは、周波数ごとに雑音のしきい値を決め、弱い成分を除く。しかし、鳴き声が複数の周波数へ広がる形を判定に十分使えない。2D-SGはその形を手掛かりにする。
手法
録音を短い時間ごとに周波数成分へ分け、音の強さを時間と周波数の平面に並べる。これをスペクトログラムという。2D-SGは、その平面の近くの値をガウスフィルタでならし、各周波数帯で推定した雑音の平均とばらつきから、残す場所を決める「マスク」を作る。
例えば複数の周波数に同時に現れるクジラのクリック音は、近傍のまとまりとして判定できる。必要に応じてマスクの境目をならし、元のスペクトログラムへ適用してから音声に戻す。短い声には、時間方向より周波数方向に広い窓を選べる。
新規性
Noisereduceが各周波数帯の値を直接しきい値と比べるのに対し、2D-SGは時間と周波数の周囲をならした値で残す場所を決める。複数の周波数にまたがる鳴き声の形を、判定に利用する点が変更点である。
元の音へマスクを適用する構成は保ち、追加の学習データを必要としない。著者らは鳥の模擬雑音データと、鳥・マッコウクジラの実録音で、この変更の効果を調べた。
従来手法との違い
主な基準は周波数帯ごとに雑音の平均とばらつきからしきい値を決めるNoisereduceである。2D-SGでは、しきい値を作る前に録音の時間と周波数の近傍を平滑化し、その局所平均で残す範囲を判定する。
著者らはWienerフィルタとSavitzky-Golayフィルタも鳥のデータで比較した。深層学習による雑音除去法との直接比較は行っていないため、学習済み手法に対する性能差はこの評価からは判断できない。
実験結果
著者らは、ホシムクドリ14羽の40秒録音70件に8種類の環境雑音を加え、信号対雑音比が0、5、10、15デシベルの条件で評価した。清浄な音を正解として、雑音の残り方や元音声とのずれを測る四つの指標を使った。
15デシベル条件では、区間ごとの信号対雑音比が2D-SGで2.36、Noisereduceで1.48だった。一方、0デシベルでの音声の再現指標SI-SDRは1.13対1.16で、2D-SGの優位は示されていない。実録音のマッコウクジラとマダラヒタキは図による定性的比較である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：野外に設置した録音機の鳥の鳴き声を、研究者が聞き分ける前に整える。入力は雑音を含む録音、出力は雑音を抑えた音声と、処理前後の時間・周波数表示にする。
短い鳴き声と長い鳴き声を分けて窓の大きさを試し、担当者が音と表示を確認する。その後、元の音声も保存したまま、鳴き声の候補を拾う既存の分析工程へ処理済み音声を渡す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の録音から、鳴き声が明瞭な区間と弱い区間を選ぶ。Noisereduceを基準に、同じ音声へ2D-SGを適用し、しきい値と平滑化窓は開発用の音声だけで決めて固定する。
評価用の区間では、雑音の減少量と必要な鳴き声の欠落を別々に記録する。清浄な正解音がある場合は論文と同種の再現指標も測り、実録音では複数の確認者によるクリックや鳴き声の検出数を比べる。
限界と課題
著者らは、Noisereduceよりガウスフィルタの窓サイズという調整項目が一つ増えると述べる。鳴き声の形によって既定値が最適とは限らず、しきい値も含めた手動調整が必要になりうる。鳴き声の検出や分類での改善は、まだ評価していない。
編集上の確認点は、弱い声や単一の周波数に近い音を消しすぎないかである。実録音の比較は主に図を使った定性的評価なので、導入先では正解を確認できる音声を用意し、雑音低減と必要な信号の保持を別々に測りたい。
出典
元のタイトル・要旨を確認する（英語）
2-Dimensional spectral gating for denoising bioacoustics recordings
Isolating vocalizations from noise in bioacoustics recordings is a prerequisite to many ecological analyses, including species identification, animal communication understanding, and individual or population-level variability studies. However, when recordings are acquired in open environments, vocalizations, noise, or signal-to-noise ratio can vary widely across individuals, species, environment, and recording conditions, making it hard to develop robust and generalizable methods for ecological analyses. To account for these challenges, noise reduction techniques are used to remove noise before downstream analyses. Popular methods such as Noisereduce rely on spectral gating, which estimates a noise threshold for each frequency channel. We propose a further improvement to Noisereduce, leveraging the fact that most animal sounds have structure across multiple frequencies. We apply our method on bird and marine mammals recordings and show that our extension of Noisereduce leads to improved denoising in both above and under water acoustic recordings, without impacting speed of preprocessing.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-01