アーカイブ / Audio
周囲の騒音を音楽で覆うため、帯域ごとの音量を予測して調整する
Deep Perceptual Noise Masking with Music (DPNMM)
Deep Perceptual Noise Masking with Music (DPNMM)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Overview of the proposed system. Bark features from the music and noise signals are computed: PSD per Bark band for both music and noise and music masking thresholds. The features are fed to the U-Net that outputs gains in dB used to scale filter frequency responses. They are applied in the spectral domain to the music and a processed version is generated by inverse STFT.
概要
- 楽曲と騒音の帯域別特徴から調整量を予測し、音楽が騒音を覆いやすいようフィルターをかける手法。
- DNS Challengeの騒音とFMAの楽曲からヘッドホンでの聴取を模した音声対を作り、NMRとGLDで評価した。
- 著者らは、音の強さの変化の許容値が2または1 dBAの設定で、比較対象より広帯域のNMRとGLDが良かったと報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Deep Perceptual Noise Masking with Music (DPNMM)の仕組み
- 01楽曲と騒音
- 02Bark帯域の特徴
- 03U-Netで調整量予測
- 04フィルター適用
- 05調整後の楽曲
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、音楽の周波数ごとの音量を調整し、周囲の騒音を聞こえにくくする。音楽と騒音が同時に鳴ると、音楽が騒音の一部を覆うことがある。著者らは、ヘッドホンで音楽を聴く場面でこの性質を利用する。
音楽全体の音量を上げると、利用者が選んだ聴取音量や元の楽曲のバランスが変わる。騒音を覆うために必要な帯域を調整しながら、音楽の平均的な音の強さの変化を抑えることが課題となる。
手法
楽曲と騒音を短い時間に区切り、各帯域の音の強さを計算する。帯域分けには、人の聴覚に合わせたBark尺度を使う。楽曲が騒音を覆える音量の境界であるマスキング閾値も求め、両方の音の特徴とともにU-Netというニューラルネットワークへ入力する。
ネットワークは時間と帯域ごとの調整量を予測する。例えば、騒音が音楽に覆われていない帯域では、隣接帯域からの寄与も踏まえて調整量を決める。予測値から帯域間が滑らかにつながるフィルターを作り、楽曲に適用して音声へ戻す。学習では、騒音を覆う目標と、処理前後の音楽の平均的な音の強さの差を抑える目標を併用する。
新規性
DPNMMは、音楽と騒音の特徴から帯域別の調整量を予測し、隣接する帯域にも音を覆う効果が広がることをフィルターの形に反映する。騒音を覆う必要がない帯域では、予測した調整量をゼロにする処理も加えた。
学習時には、騒音を覆う目標と、処理前後の音楽の平均的な音の強さを保つ目標を組み合わせる。後者の許容値を変え、二つの目標の関係を調べている。
従来手法との違い
比較対象はEstrederらの知覚イコライザーである。イコライザーは周波数帯ごとの音量を変える処理を指す。比較対象は、騒音が音楽のマスキング閾値を超えた帯域で、その差に基づいて増幅量を計算する。
マスキング閾値は、別の音が聞こえなくなる音量の境界である。比較対象の増幅量の計算には隣接帯域からの寄与が含まれない。DPNMMはその寄与を反映し、音楽全体の音の強さの変化も学習時に制約できる。
実験結果
著者らはDNS Challengeの騒音とFMAの楽曲を組にし、ヘッドホンの周波数応答を反映した音声対を作った。44,100 Hz、10秒のモノラル音声対で、学習50時間、検証20時間、テスト10時間を用意した。評価指標は、当初騒音を覆えていない帯域で騒音と閾値の差を測るNMRと、処理前後の音楽全体の音の強さの差を測るGLDである。
著者らは、音の強さの変化の許容値を2または1 dBAとしたモデルで、比較対象より広帯域のNMRとGLDが良かったと報告する。NMRの差のp値は順に10のマイナス6乗と0.01、GLDは1.5×10のマイナス4乗と3.3×10のマイナス9乗だった。0.5 dBAの設定では、広帯域NMRの有意な改善は報告されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ヘッドホンで音楽を聴く場面を対象に、周囲音に応じて楽曲を調整する試作を行う。入力は再生する楽曲と取得した周囲音、出力は帯域ごとの調整を施した楽曲とする。騒音を覆う程度と楽曲の聞こえ方を、利用場面ごとに確かめる。
適応には、対象環境の騒音と楽曲の音声対、環境を整理するためのラベル、使用するヘッドホンの周波数応答、周囲音の取得手段が要る。環境ラベルはデータ作成に使われており、推論時の入力とは区別する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象環境の騒音と楽曲を収集して音声対を作り、環境ラベルで整理する。使用するヘッドホンの周波数応答と、周囲音を取得する手段も確認する。元の楽曲とEstrederらの知覚イコライザーを比較基準に、対象環境の音声対へ手法を適応する。
同じ音声対で音の強さの変化の許容値を変え、NMRとGLDを測る。楽曲の音量差と聞こえ方も記録し、騒音や楽曲の種類によって結果が変わるかを確かめる。評価結果を踏まえ、再生時に使う設定を選ぶ。
限界と課題
著者らは、音楽と騒音が同時に鳴ると一方が他方を聞こえなくする「同時マスキング」を対象とし、一部だけ聞こえにくくなる効果は扱わないと述べる。利用者の音の好みを反映する方法は、今後の課題としている。
編集上の検証事項は、実際に周囲音を取得して再生音へ反映した際の聞こえ方と、楽曲の印象の変化である。本文の評価は、ヘッドホンでの聴取を模したデータと音響指標に基づく。利用者が騒音をどう感じるかは、別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Perceptual Noise-Masking with Music through Deep Spectral Envelope Shaping
People often listen to music in noisy environments, seeking to isolate themselves from ambient sounds. Indeed, a music signal can mask some of the noise's frequency components due to the effect of simultaneous masking. In this article, we propose a neural network based on a psychoacoustic masking model, designed to enhance the music's ability to mask ambient noise by reshaping its spectral envelope with predicted filter frequency responses. The model is trained with a perceptual loss function that balances two constraints: effectively masking the noise while preserving the original music mix and the user's chosen listening level. We evaluate our approach on simulated data replicating a user's experience of listening to music with headphones in a noisy environment. The results, based on defined objective metrics, demonstrate that our system improves the state of the art.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01