表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

音の縮小・拡大に伴う人工音を抑える補聴器向け音声モデル

dCoNNear

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

dCoNNearの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1: Block diagram of the closed-loop framework for audio applications.

出典:dCoNNear / arXiv ↗

概要

  • dCoNNearは信号の縮小・拡大層を避け、従来構成に由来する人工的な音を抑える設計を採る。
  • 正常側と難聴側の聴神経応答を比較して補聴処理器を学習し、著者らは従来CoNNearとの人工音と音質を評価した。
  • 評価に使った音声・雑音・音楽の条件と指標は確認できるが、指標の結果値や実利用者の聴取結果は確認できない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、dCoNNearの仕組み

左から右へ読む
  1. 01入力音声
  2. 02補聴音を生成
  3. 03難聴側応答を計算
  4. 04正常側応答と比較
  5. 05処理器を更新

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

dCoNNearは、補聴用の音声処理器を学習する際に、モデル自身が作る人工的な音を抑えるための構成である。従来のニューラルネットワークでは、信号を縮小・拡大する層が、元の音や参照用の聴覚モデルにはない周波数成分を生むことがある。

補聴処理器は、正常な聴覚応答と難聴を模した応答との差を手掛かりに学習する。この比較に使うモデルへ余計な成分が混じると、学習後の処理音にも現れ得るため、聴覚モデルと処理器の両方の構成が音質に関わる。

手法

まず音声と参照用の聴覚計算モデルが出す応答を使い、蝸牛、内有毛細胞、聴神経線維のモデルを学習する。これらは、音の振動を受け、細胞内の電位に変え、神経の発火率へつなぐ段階である。次に各モデルの重みを固定し、補聴処理器を通した音に対する難聴側の応答が、元の音に対する正常側の応答へ近づくよう処理器を更新する。

dCoNNearは、離れた時点の音まで参照できる時間方向の畳み込みを重ね、信号の縮小・拡大層を使わない。例えば発話を入力すると、正常側と補聴処理後の難聴側で聴神経の応答を計算し、その差から処理器を学習する。学習後の出力は新たな音声に適用する補聴処理音である。

新規性

dCoNNearは、過去と未来の音を参照する畳み込みを重ね、信号の縮小・拡大層を使わずに長い時間の変化を扱う。著者らは、この構成を蝸牛、内有毛細胞、聴神経線維の各モデルと補聴処理器に適用した。

狙いは、聴覚応答を再現しながら、従来構成の標本化処理に由来する人工音を補聴処理の出力へ持ち込まないことである。実際の聴取条件すべてで人工音が出ないという保証を示すものではない。

従来手法との違い

従来のCoNNearは、信号を縮小してから拡大する自己符号化器である。著者らは、拡大側の転置畳み込みによって参照用の聴覚モデルにない周波数成分が生じ、学習した補聴処理器の出力にも現れると報告した。

dCoNNearは縮小・拡大層を、時間方向の畳み込みを重ねた構成に置き換える。本文では従来CoNNearと各聴覚段階および補聴処理後の音を比較している。補聴器の他方式全般に対する優位性を示す比較ではない。

実験結果

著者らは、従来CoNNearとdCoNNearの聴覚各段階および補聴処理器を、音圧70 dB SPLの1 kHz純音で調べた。人工的な成分には、基本周波数の4分の1刻みの成分を含める分数次全高調波歪みを用いた。音質には、音声の変調成分から評価するSRMRを用いた。

音質評価はTIMITの清浄音声550発話、TIMIT音声とFreesoundの雑音を信号対雑音比0 dBで混ぜた1時間分、FMAの30秒の音楽100曲が対象である。著者らは可聴の人工音を除き音質が改善したと述べる。確認できた本文の範囲では、指標の結果値や条件別の差は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:研究用の補聴処理で、特定の聴力設定に合わせた音声処理器を試作する。許諾を得た音声と聴力検査で得る周波数別の値を入力し、処理音と人工的な周波数成分の測定記録を出力する。聴力設定を反映した聴覚モデルで処理音を評価する。

学習には、参照用の聴覚計算モデルが音声から生成する各段階の応答を教師データとして用意する。蝸牛の損失は聴力検査に合わせて調整し、神経線維の損失まで個別化する場合は、その推定に用いる聴覚誘発電位などの測定情報も必要になる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:許諾を得た学習用音声と、参照用の聴覚計算モデルが出す各段階の応答を教師データとして用意する。聴力検査の値に合わせて難聴側を調整し、聴覚モデルを学習した後、その重みを固定して補聴処理器を学習する。神経線維の損失まで個別化するなら、推定に必要な測定情報も集める。

同じ音声と聴力設定で従来CoNNearを基準に置き、純音の分数次全高調波歪みと、清浄音声・雑音下音声・音楽のSRMRを比べる。さらに対象者の聴取評価で聞きやすさと違和感を記録し、モデル上の差が実際の聴取にもつながるかを確かめる。

限界と課題

著者らは、従来CoNNearの拡大処理に由来する人工音が補聴処理器にも現れることを課題として示し、提案構成では可聴の人工音を除いたと報告する。確認できた本文の範囲では、実利用者による聴取試験の結果と、すべての入力条件に対する保証は確認できない。

編集上の検証事項は、対象者の聴力と神経線維の損失を設定するための測定情報が揃うか、異なる声・雑音・音楽でも人工音と音質を評価できるかである。聴覚モデル上の応答差が小さいことと、本人の聞きやすさの関係も別に確かめる必要がある。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

dCoNNear: An Artifact-Free Neural Network Architecture for Closed-loop Audio Signal Processing

Recent advances in deep neural networks (DNNs) have significantly improved various audio processing applications, including speech enhancement, synthesis, and hearing-aid algorithms. DNN-based closed-loop systems have gained popularity in these applications due to their robust performance and ability to adapt to diverse conditions. Despite their effectiveness, current DNN-based closed-loop systems often suffer from sound quality degradation caused by artifacts introduced by suboptimal sampling methods. To address this challenge, we introduce dCoNNear, a novel DNN architecture designed for seamless integration into closed-loop frameworks. This architecture specifically aims to prevent the generation of spurious artifacts-most notably tonal and aliasing artifacts arising from non-ideal sampling layers. We demonstrate the effectiveness of dCoNNear through a proof-of-principle example within a closed-loop framework that employs biophysically realistic models of auditory processing for both normal and hearing-impaired profiles to design personalized hearing-aid algorithms. We further validate the broader applicability and artifact-free performance of dCoNNear through speech-enhancement experiments, confirming its ability to improve perceptual sound quality without introducing architecture-induced artifacts. Our results show that dCoNNear not only accurately simulates all processing stages of existing non-DNN biophysical models but also significantly improves sound quality by eliminating audible artifacts in both hearing-aid and speech-enhancement applications. This study offers a robust, perceptually transparent closed-loop processing framework for high-fidelity audio applications.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01