アーカイブ / Audio
中立音声から怒り・喜びの声を作り、感情がある発話の話者照合を改善する
CycleGAN emotional speech augmentation
CycleGAN emotional speech augmentationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: t-SNE plot of utterances from a single speaker in neutral tone ( green ), angry tone ( blue ), and converted angry tone ( orange ).
概要
- 本人の中立音声を怒り・喜びの音声に変換し、元の話者の学習例として照合モデルに加える。
- 著者らの全学習データを使った設定では、各話者に怒り・喜びを各15件加えると、感情音声のEERが合成なしの基準より相対的に3.64%改善した。
- 同じ設定で中立音声のEERは相対的に1.18%悪化した。絶対EERは公表されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CycleGAN emotional speech augmentationの仕組み
- 01本人の中立音声
- 02音響特徴を抽出
- 03怒り・喜びへ変換
- 04合成音声を追加
- 05話者照合結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
話者照合は、登録済みの声と新たな発話を比べ、同じ人かを判定する技術だ。登録時は中立的に話していても、利用時に怒りや喜びが声に表れると、声の特徴が変わり、本人を見逃す原因になる。
著者らの学習データでは発話の90%が中立で、怒りは0.6%、喜びは1%だった。感情と話者が分かる学習例が少ないため、感情がある発話での誤りを減らす方法が求められる。
手法
この方法は、本人の中立音声から怒りと喜びの合成音声を作り、元の話者の学習例として照合モデルに加える。変換器は感情ごとに学習し、音声から取り出した音色に関わる特徴と基本周波数、つまり声の高さに関わる特徴を別々のCycleGANで変換する。CycleGANは二つの音声群を行き来する変換を学ぶ方式で、同じ文を別の感情で話した録音の組を要しない。
変換器の学習には中立と対象感情の音声を使い、同じ話者でも発話内容は異なってよい。例えば、ある人の中立音声から怒った声を作り、その人の例として照合モデルに加える。照合時は音声を話者の特徴を表す数値列に変え、登録音声の数値列とのコサイン類似度、つまり数値列の向きの近さで同じ話者かを判定する。
新規性
著者らは、CycleGANによる感情音声の変換を話者照合の学習データ拡張に用いた点を新規性として主張する。本人の中立音声を怒り・喜びの音声に変換し、元の話者の学習例として加える。
同じ内容を複数の感情で録音した音声の組は、変換器の学習に必要ない。ただし、変換で話者の特徴が保たれたという著者らの判断は、確認できた本文の範囲では主に話者特徴の類似度に基づく。
従来手法との違い
比較対象は、合成音声を加えず、収集した音声で学習した多層LSTMの話者照合モデルである。LSTMは発話の時間的なつながりを扱うニューラルネットワークで、著者らはこの基準モデルを最高性能の方式とは位置づけていない。
提案法では同じ照合モデルの学習に合成した怒り・喜びの音声を加える。全学習データを使う比較では収集音声に感情音声も含まれるため、基準を「中立音声だけ」とは呼べない。合成数によって中立音声の結果は改善も悪化もした。
実験結果
著者らは変換器にEmotional Speech Dataset、EmoV、Ravdessを使い、話者照合には学習用413人・132,128発話と、話者が重ならない評価用204人・55,909発話を使った。指標は等誤り率（EER）で、本人を拒む率と他人を受け入れる率が等しくなる点の誤り率を指す。
全学習データで各話者に怒り15件・喜び15件の合成音声を加えた設定では、合成なしの基準より感情音声のEERが相対的に3.64%改善し、中立音声は相対的に1.18%悪化したと著者らは報告する。絶対EERは非公表で、相対値だけから実際の誤り件数は見積もれない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：コールセンターの本人確認で、利用者が怒った声で話す場合の照合漏れを調べる。同意を得た登録音声と通話音声を入力し、本人との照合結果を出力して、感情別の誤りを記録する。
学習には話者ラベル付きの収録音声と、変換器を調整するための中立・怒り・喜びのラベル付き音声が要る。必要な音声の収録手段も定め、現場の音声に合わせて変換器と照合モデルを調整する。業務での改善は未確認の応用仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同意を得て、話者ラベル付きの登録音声と照合用音声を収録し、中立・怒り・喜びのラベルを確認する。使用する収録手段と音声品質を記録し、まず合成音声なしの照合モデルで感情別と中立音声のEERを測る。
次に、ラベル付き感情音声で変換器を現場の音声に合わせ、本人の中立音声から合成した音声を学習に加える。話者が学習側と重ならない評価データを用い、同じ条件の基準とEERを比較する。怒り・喜びだけでなく中立音声の悪化幅も確認する。
限界と課題
著者らは組織内の方針により絶対EERを公表せず、相対的な変化を示している。また、基準の照合モデルが最高性能の方式ではないと明記する。合成音声を増やした一部の設定では、中立音声のEERが悪化した。
編集上の検証事項は、別の収録環境や話者でも効果が続くか、感情ラベルが安定しているかである。著者らは合成音声のなりすましリスクにも触れるが、確認できた本文は検討の途中で終わっており、その結果は判断できない。話者特徴の類似度だけで運用上の安全性も判断できない。
出典
元のタイトル・要旨を確認する（英語）
Improving speaker verification robustness with synthetic emotional utterances
A speaker verification (SV) system offers an authentication service designed to confirm whether a given speech sample originates from a specific speaker. This technology has paved the way for various personalized applications that cater to individual preferences. A noteworthy challenge faced by SV systems is their ability to perform consistently across a range of emotional spectra. Most existing models exhibit high error rates when dealing with emotional utterances compared to neutral ones. Consequently, this phenomenon often leads to missing out on speech of interest. This issue primarily stems from the limited availability of labeled emotional speech data, impeding the development of robust speaker representations that encompass diverse emotional states. To address this concern, we propose a novel approach employing the CycleGAN framework to serve as a data augmentation method. This technique synthesizes emotional speech segments for each specific speaker while preserving the unique vocal identity. Our experimental findings underscore the effectiveness of incorporating synthetic emotional data into the training process. The models trained using this augmented dataset consistently outperform the baseline models on the task of verifying speakers in emotional speech scenarios, reducing equal error rate by as much as 3.64% relative.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01