アーカイブ / Audio
録音位置を変えたときの両耳音声を、音だけから合成するAudioGS
AudioGS
AudioGSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: AudioGS framework and performance. Top: Inspired by 3D Visual Gaussian Splatting, we propose AudioGS, a visual-free framework that models the sound field as a set of learnable 3D Audio Gaussians. Bottom: Quantitative comparison on the Replay-NVAS dataset. AudioGS significantly outperforms baselines in reconstruction quality (MAG) and perceptual fidelity (DPAM).
概要
- 音の時間・周波数成分ごとに空間的な性質を学び、別位置の両耳音声を合成する。
- 五つの屋内場面で、全体MAG 0.0893、DPAM 0.0887と著者は報告した。
- 導入時は知覚品質に加え、音源方向の判断と録音位置を減らした際の劣化を調べる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AudioGSの仕組み
- 01位置付き両耳録音
- 02音の成分を配置
- 03音量と位相を補正
- 04別位置の両耳音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
仮想空間で聴く人が移動すると、同じ音でも距離や向きに応じて音量、左右差、耳に届く時刻が変わる。少数の場所で録った音から、録音していない位置の両耳音声を作ることが課題となる。
既存手法には映像を手掛かりにするものがあるが、映像からは部屋固有の細かな音の変化を直接読み取れない。映像を使わず音の観測をもとに再構成できれば、撮影条件に依存しない制作手順を検討できる。
手法
入力は基準位置で録った左右二チャンネルの波形と、学習に使う別位置の対応音声だ。波形を短時間フーリエ変換で時間・周波数ごとの成分に分け、各成分に空間位置、方向による強さ、距離減衰を表す値を持たせる。球面調和関数は、方向に応じた音の強さを少数の係数で表す方法である。
新しい聴取位置と向きを指定すると、各成分の方向と距離から左右の音量を計算する。さらに両耳に届く時間差に合わせて位相、つまり波の進み具合を補正し、成分を波形へ戻す。例えば聴取者が音源の横へ動いた場合の左右差を、合成した二チャンネル音声に反映する。
新規性
AudioGSは録音を時間と周波数に分け、各区画を位置や方向特性を持つ「Audio Gaussian」として表す。画像を使わず、音の細かな成分ごとに空間的な変化を学習する設計だ。
両耳に共通する音量と左右差を別々の方向係数で表し、距離による減衰と、音が左右の耳に届く時間差に基づく位相補正を加える。著者は、音量だけでなく到達時刻の手掛かりも扱うことで、別の聴取位置の音を組み立てる。
従来手法との違い
ViGASやAV-NeRFなどの比較手法は、映像から得る手掛かりを使って別位置の音声を合成する。AudioGSは入力にRGB画像を使わず、観測された音と聴取位置から音場表現を学習する。したがって、比較には入力情報の違いも含まれる。
元の録音をそのまま再生する方法や左右を平均した単音声も基準に置かれた。論文の表ではAudioGSが全体のMAGとDPAMで最良だが、左右のエネルギー比を測るLREは別手法のほうが低く、全指標を一括して優位とは言えない。
実験結果
著者はReplay-NVASの屋内五場面を使い、各場面の八位置のうち七位置で学習し、一位置を評価用に残した。評価音声は計660秒で、周波数成分の差MAG、音量変化の差ENV、左右エネルギー比の誤差LRE、知覚品質指標DPAMを測った。
全体のMAGはAudioGSが0.0893、映像を使う比較手法中で最良のAV-Cloudが0.1044だった。DPAMはAudioGSが0.0887、比較手法中で最良のViGASが0.1179だったと著者は報告する。一方、LREはAudioGSの0.5269よりAV-NeRFの0.3531が低い。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：仮想展示室で来場者が位置を変えたときの案内音声を試作する。入力は展示室内の複数位置で録った左右二チャンネル音声と各録音位置、出力は指定した聴取位置・向きに対応する両耳音声とする。
展示担当者は録音位置の一つを隠して学習し、その位置の実録音と合成音を聴き比べる。移動に伴う音量、左右差、言葉の聞き取りやすさを確認してから体験用素材へ組み込む。動く音源や別室でも使えるという結果は示されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：固定した屋内空間で同じ音を複数位置から録り、一位置を評価用に取り分ける。元の両耳録音をそのまま使う方法と左右平均の単音声を基準に、AudioGSの合成音と評価位置の実録音を比べる。
MAGや左右エネルギー比の誤差に加え、聴取者に音源の方向、声の明瞭さ、移動時の違和感を尋ねる。録音位置を減らしたときの変化も測り、制作に必要な録音数と品質の折り合いを判断する。
限界と課題
著者は将来課題として、動的な場面への拡張を挙げる。今回の評価は音質と位置情報が整った五つの屋内場面に限られ、各場面で八つの聴取位置のうち七つを学習に使う設定だった。
編集上の確認事項として、録音位置がさらに少ない場合、動く話者や騒音がある場合、測位がずれる場合の品質を調べたい。音の知覚指標が改善しても、利用者が音源位置を正しく判断できるとは限らないため、用途に合う聴取試験を別に設計する。
出典
元のタイトル・要旨を確認する（英語）
AudioGS: Spectrogram-Based Audio Gaussian Splatting for Sound Field Reconstruction
Spatial audio is fundamental to immersive virtual experiences, yet synthesizing high-fidelity binaural audio from sparse observations remains a significant challenge. Existing methods typically rely on implicit neural representations conditioned on visual priors, which often struggle to capture fine-grained acoustic structures. Inspired by 3D Gaussian Splatting (3DGS), we introduce AudioGS, a novel visual-free framework that explicitly encodes the sound field as a set of Audio Gaussians based on spectrograms. AudioGS associates each time-frequency bin with an Audio Gaussian equipped with dual Spherical Harmonic (SH) coefficients and a decay coefficient. For a target pose, we render binaural audio by evaluating the SH field to capture directionality, incorporating geometry-guided distance attenuation and phase correction, and reconstructing the waveform. Experiments on the Replay-NVAS dataset demonstrate that AudioGS successfully captures complex spatial cues and outperforms state-of-the-art visual-dependent baselines. Specifically, AudioGS reduces the magnitude reconstruction error (MAG) by over 14% and reduces the perceptual quality metric (DPAM) by approximately 25% compared to the best performing visual-guided method.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29