アーカイブ / Audio
6ミリ秒の音声片を耳掛け型機器内で処理するNeuralAids
NeuralAids
概要
- NeuralAidsは、単一マイクの音声を耳掛け型試作機内で強調・雑音除去するシステム。
- 著者らは、6ミリ秒の音声片をGAP9上で5.54ミリ秒で処理し、消費電力を71.64 mWと報告した。
- 28人の利用者調査で未処理音とTinyDenoiserを上回る評価を報告したが、確認できた本文には個別評点がない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NeuralAidsの仕組み
- 01単一マイクの混合音
- 02音を周波数に変換
- 03二経路モデルで強調
- 04波形に戻して再生
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
NeuralAidsは、耳掛け型の小さな無線機器だけで、周囲の雑音に埋もれた発話を聞きやすくする試作システムである。音声は途切れずに届くため、短い音声片を次々に処理して再生する必要がある。
スマートフォンへ計算を任せると、無線通信の揺らぎや入出力の待ち時間が加わる。機器内で処理する場合も、計算能力、記憶容量、電力の制約があり、音質と遅れを両立できるかが課題となる。
手法
NeuralAidsは単一マイクの音を6ミリ秒ずつ取り込み、短時間フーリエ変換で周波数ごとの成分に分ける。二経路モデルは周波数の違いと時間のつながりを順に扱い、発話の成分を推定する。例えば声と設備音が重なった入力から、雑音を抑えた波形を作って耳へ再生する。
周波数方向はデータを縮め、計算量を抑えた再帰型の処理器を使う。過去の音声片で得た計算結果も保存して再利用する。量子化は計算値を少ない桁数で表す方法で、部分ごとに精度を選び、その丸め誤差を想定して学習する。
新規性
著者らの主張する新しさは、耳掛け型の無線機器に音声AI用の演算器を組み込み、音声の強調から再生までを機器内で連続処理する設計にある。機器、音声モデル、数値の扱いを一体で調整している。
モデルでは周波数方向の計算を縮め、過去の計算結果を再利用する。窓の長さを入力側と出力側で変えることで、過去の音を参照しながら追加の待ち時間を抑える。
従来手法との違い
著者らが比較するTinyDenoiserは、機器内で動く既存の雑音除去モデルで、約25ミリ秒のアルゴリズム遅延があるという。これは音声を区切る長さや先の音を待つ処理方式から生じる遅れを指す。
NeuralAidsは6ミリ秒単位で処理し、先の音を4ミリ秒参照して、著者らは同遅延を10ミリ秒と算定する。音声品質の差も報告しているが、指標名を確認できないため、差の意味や適用範囲は断定できない。
実験結果
著者らは、清浄な発話のLibriSpeech、雑音のWHAM!、部屋や頭による音の変化を表すデータを用いて学習し、屋内外の六つの実環境と頭の動きでも評価した。浮動小数点モデルのTinyDenoiserに対する音質差を2.41 dB、量子化による差の縮小を7.86 dBから0.57 dBと報告するが、確認できた本文の範囲では対応する指標名を特定できない。
著者らによると、GAP9上で6ミリ秒分の処理に5.54ミリ秒を要し、モデルの記憶使用量は299 kB、消費電力は71.64 mWだった。28人の利用者調査では、未処理音とTinyDenoiserより平均主観評点と雑音除去の評価が高かったと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:工場で作業者が近くの人の発話を聞く場面を想定する。耳掛け型機器の単一マイクが拾う発話と設備音の混合音を入力し、機器内で雑音を抑えた音声を耳へ再生する。現場での効果は未検証である。
適応用には清浄な発話、現場の騒音、部屋と頭の向きによる音の変化を表すデータが要る。清浄な発話を正解音声として混合音を作り、作業位置や頭の動きに応じた聞こえ方を検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象の工場で、清浄な発話と騒音を収集し、部屋と頭の向きによる音の変化を表すデータで単一マイク向けの混合音を作る。清浄な発話を正解ラベルとして対応付け、現場の音響条件に合わせてモデルを調整する。
未処理音とTinyDenoiserを比較基準に、同じ音声で聞き取りと雑音除去の評価を行う。各6ミリ秒片の処理時間、音の途切れ、連続使用時の電力も測り、騒音の種類と頭の動き別に結果を記録する。
限界と課題
著者らが示す設計上の制約は、各6ミリ秒片を次の片が届く前に処理すること、機器の記憶容量にモデルを収めること、消費電力を抑えることである。試作機にはマイクが三つあるが、論文の処理で使うのは一つである。
編集上の検証事項は、工場の騒音や話者が変わった場合の聞き取り、連続使用時の電力、音の途切れである。確認できた本文の範囲では、利用者調査の個別評点や騒音条件別の数値を追えず、用途ごとの改善幅は判断できない。
出典
元のタイトル・要旨を確認する(英語)
Wireless Hearables With Programmable Speech AI Accelerators
The conventional wisdom has been that designing ultra-compact, battery-constrained wireless hearables with on-device speech AI models is challenging due to the high computational demands of streaming deep learning models. Speech AI models require continuous, real-time audio processing, imposing strict computational and I/O constraints. We present NeuralAids, a fully on-device speech AI system for wireless hearables, enabling real-time speech enhancement and denoising on compact, battery-constrained devices. Our system bridges the gap between state-of-the-art deep learning for speech enhancement and low-power AI hardware by making three key technical contributions: 1) a wireless hearable platform integrating a speech AI accelerator for efficient on-device streaming inference, 2) an optimized dual-path neural network designed for low-latency, high-quality speech enhancement, and 3) a hardware-software co-design that uses mixed-precision quantization and quantization-aware training to achieve real-time performance under strict power constraints. Our system processes 6 ms audio chunks in real-time, achieving an inference time of 5.54 ms while consuming 71.6 mW. In real-world evaluations, including a user study with 28 participants, our system outperforms prior on-device models in speech quality and noise suppression, paving the way for next-generation intelligent wireless hearables that can enhance hearing entirely on-device.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




