アーカイブ / Audio
両耳で処理を分担する音声強調RT-Tango、ストリーミング版は遅延8ミリ秒
RT-Tango
RT-Tangoの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Block diagram of RT-Tango. It preserves Tango’s two-stage processing scheme while introducing additional or modified modules focused on efficiency (highlighted in yellow) and low-latency streaming (in italics).
概要
- 各耳が局所処理で得た圧縮信号を交換し、二段階のマスク推定と空間フィルタで左右の音声を強調する。
- 著者らの評価では、ストリーミング版RT-Tango-OSはアルゴリズム遅延8ミリ秒、片側35.14 MMAC/sだった。
- オンライン版の一部の音質指標はオフライン版より低く、評価値は空間統計量が収束した後に測られている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RT-Tangoの仕組み
- 01両耳各2本のマイク音
- 02ERB特徴に圧縮
- 03各耳で推定・交換
- 04両耳情報で再推定
- 05左右の強調音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RT-Tangoは、両耳のマイクで拾った音から話し声を強調する手法である。左右の音の違いは雑音を分ける手掛かりになるが、離れた端末間でマイク音を大量に送り続けることには通信と電力の制約がある。
補聴器では、処理した音を短い遅延で返すことも必要になる。著者らは、従来の省計算な手法には単一マイクを主な対象とするものが多く、両耳に処理を分けた構成で計算量と遅延を抑えることを課題とした。
手法
各耳はマイク音を周波数成分に分け、人の聴覚に合わせて高い周波数側を粗く表すERB尺度で特徴量を圧縮する。周波数帯を複数の組に分けた再帰型ネットワークが、音声と雑音の成分を選ぶ重み「マスク」を推定する。マスクは元の周波数幅に戻し、複数マイクの音を重み付けする空間フィルタに使う。
まず各耳が局所的に音声と雑音を推定し、得た圧縮信号を反対側へ送る。次に自耳の音と受信した情報からマスクを再推定し、左右それぞれの強調音声を作る。RT-Tango-OSでは推定を決まった間隔で行い、その間は前回のマスクを再利用する。周波数分析には長い窓、再合成には短い窓を使い、空間フィルタ用の統計量を逐次更新する。
新規性
著者らが示す改良は、Tangoの二段階の両耳処理を保ち、ERBによる特徴量の圧縮、周波数帯ごとに分けた再帰処理、マスク推定の間引きを組み合わせた点にある。各耳で必要な演算を減らす設計である。
ストリーミング版RT-Tango-OSでは、周波数分析の窓の長さと音を再合成する窓の長さを分け、空間フィルタに必要な統計量を逐次更新する。著者らは、この構成で因果的な処理と8ミリ秒のアルゴリズム遅延を報告した。
従来手法との違い
基準のTangoも、各耳で音声と雑音を推定して圧縮信号を相手側に送り、受け取った情報を使って出力を整える二段構成である。原型には遅延と計算量の制約がなく、評価表では16ミリ秒の処理間隔で片側605.98 MMAC/sだった。
RT-Tangoは4ミリ秒間隔で33.41 MMAC/sだった。同じ4ミリ秒間隔で評価したGTCRNは197.51 MMAC/s。ただしGTCRNは各ノードに配置した別方式で、音質指標の優劣も一様ではない。
実験結果
著者らは各耳2本のマイクを想定した模擬データで学習し、BinauRec11の一部から作った1,200混合音で評価した。目標話者は正面、雑音はその右45度または90度に置き、入力SNRは−5、0、5 dBとした。
評価表では、4ミリ秒の処理間隔でRT-Tangoが片側33.41 MMAC/s、STOIが左右とも0.84だった。STOIは音声の聞き取りやすさを推定する指標である。RT-Tango-OSは35.14 MMAC/s、アルゴリズム遅延8ミリ秒、STOIは左0.80・右0.82だった。演算量は片側ノードで測り、FFTと逆FFTは除いている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：両耳型補聴器の試作で、正面の発話に右側の雑音が重なる場面を対象にする。入力は各耳2本のマイクで同期して得た音、出力は左右それぞれの強調音声とし、片耳で作った圧縮信号を反対側へ渡して処理する。
対象のマイク配置で得た混合音と、対応する清浄な発話・雑音の教師データを用意し、音声と雑音のマスク推定器を調整する。通信を含む動作と聞き取りへの効果は、この用途で検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の両耳マイク配置で正面の発話と右側の雑音を同期して得て、混合音に対応する清浄な発話と雑音を教師データとしてそろえる。マスク推定器をその配置と音環境に合わせて調整し、未処理音とTangoを比較基準にする。
小規模な検証では、左右別のSTOIと、信号の歪みを示すSI-SDR、雑音の抑制を示すSI-SIRを測る。遅延、片側の演算量、耳間の通信量を記録し、起動直後と雑音位置が変わった後の結果も確認する。
限界と課題
著者らは、RT-Tango-OSではオフライン版よりSI-SDRとSI-SARが下がると報告した。オンラインの空間統計量を収束させるため、評価では同じ混合音を十分に繰り返し、最後の反復で指標を計算している。
編集上の検証事項は、起動直後や音源が動いた直後の品質、耳間の通信量と消費電力、利用者の聞き取りである。報告された演算量にはFFTと逆FFTが含まれないため、端末全体の負荷も別に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
RT-Tango: Real-Time Distributed Binaural Speech Enhancement for Low-Power Hearing Aid Devices
Real-time binaural speech enhancement is constrained by latency, computational cost, and inter-device communication, yet existing efficient solutions predominantly address single-channel settings. In this paper, we introduce RT-Tango, a real-time distributed binaural speech enhancement framework designed for streaming on resource-constrained platforms and specifically for hearing aids. RT-Tango relies on a two-stage distributed architecture combining perceptually motivated ERB feature compression, lightweight grouped recurrent mask estimation, and temporal sparsification to reduce computational cost. Stringent latency constraints are addressed by decoupling spectral resolution from algorithmic delay using an asymmetric STFT, together with causal recurrent inference and online estimation of spatial statistics. Experimental results show that RT-Tango achieves competitive speech enhancement while significantly reducing MACs operations and functioning at ultra-low latencies as low as 8 ms.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01