アーカイブ / Audio
発症前後の本人音声から合成データを作り、構音障害のある発話を文字にする
Improved Dysarthric Speech to Text Conversion via TTS Personalization
概要
- ハンガリー語話者1人の発症前後の録音から構音障害のある合成音声を作り、本人向けの音声認識モデルを追加学習した。
- 同じ話者の評価用音声で、FastConformer_Huの文字誤り率は追加学習前36％、実音声だけの追加学習で8.9％、実音声と合成音声を使う最良条件で7.3％だった。
- 評価は本人による文の読み上げに限られ、別の話者や自然な会話での性能は今後の検証事項である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Improved Dysarthric Speech to Text Conversion via TTS Personalizationの仕組み
- 01発症前後の本人音声
- 02障害音声を合成
- 03認識モデルを追加学習
- 04新たな発話を文字化
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、脳卒中後に重い構音障害があるハンガリー語話者1人の発話を文字にする。構音障害は、発話を制御する働きの障害により、話す速さや強さ、発音の正確さなどが変わる状態を指す。本人の発話に音声認識を合わせることが課題となる。
障害のある発話を収録して正しく書き起こす作業は、話者にも確認者にも負担がかかる。この研究で追加学習に使えた本人の障害音声は21分だった。限られた実音声を補うため、著者らは本人の声を使った音声合成を検討した。
手法
まず、発症前の講義録音13時間から、二つの認識結果が近い発話を選ぶ。選ばれた1242発話、計2時間の自動書き起こしを使い、文章から音声を作るTTS（音声合成）モデルを本人の声に合わせた。次に、発症後の正解文付き音声195区間でモデルを調整し、学習を止める時点などを変えて合成音声を作った。
合成する文章には、ハンガリー語の話し言葉から選んだ5000文を使った。発症前後の「話者埋め込み」という声の特徴を表す数値を異なる比率で混ぜる方法も試している。こうして作った音声と元の文章を対にし、本人の障害音声21分とともに音声認識モデルへ与える。追加学習後は、新たな本人の発話から文字列を出力する。
新規性
著者らの提案は、発症前の本人の声に合わせた音声合成モデルを、発症後の発話でも調整し、認識モデルの追加学習に使う点にある。学習を止める時点を変えた合成音声を作り、そのうち二種類を組み合わせた。
さらに、発症前後の声の特徴を数値で表す「話者埋め込み」を混ぜる比率も変え、発話の違いを試した。ただし、その違いは主に認識モデルの誤り率で評価されており、臨床的な重症度を測定した結果ではない。
従来手法との違い
基準となるFastConformer_Huは、本人の構音障害音声で追加学習する前、評価用音声の文字誤り率が36％だった。本人の障害音声21分だけで追加学習すると8.9％、それに二種類の合成音声を加えた最良条件では7.3％となった。
同じ実音声と二種類の合成音声で追加学習したWhisper-turboの評価用文字誤り率は12.3％だった。また、合成した障害音声の代わりに発症前の講義音声2時間を実音声へ加えた条件は10.7％だった。いずれも、この話者のハンガリー語音声での比較である。
実験結果
著者らは、本人の障害音声を学習用21分・195区間、検証用6分・40区間、評価用17分・107区間に分けた。評価用は日常的な文の読み上げである。文字誤り率（CER）は正解文に対する文字単位の誤りの割合で、追加学習前のFastConformer_Huは評価用で36％だった。
著者らの表では、実音声だけの追加学習で評価用CERが8.9％、実音声と二種類の合成音声を使う最良条件で7.3％となり、相対的に約18％下がった。この最良条件の単語誤り率は18.3％で、同じ学習データを用いたWhisper-turboの評価用CERは12.3％だった。数値はいずれも同じ話者の評価用音声に対する結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：本人が短い伝言を読み上げ、画面に出た文字を確認してから相手に見せる使い方を試す。入力は現在の本人の発話、出力は本人が修正できる文字列とする。伝言場面で役立つかは、論文の読み上げ文による評価だけでは決まらない。
適応には、本人の現在の発話と正しい書き起こしを対で集め、利用できる場合は発症前の録音も用意する。音声を収録する手段が必要だが、機種は指定しない。発症前後の録音から合成音声を作って認識モデルを追加学習し、表示された文を本人が確かめる流れを想定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象者の現在の発話を正しい書き起こしと対で収録し、追加学習用と未使用の評価用に分ける。使える発症前の録音の有無と量も確認する。必要なラベルは発話の書き起こしで、センサーは音声を収録する手段とし、特定の機種は前提にしない。
まず本人の実音声だけで認識モデルを追加学習し、基準の文字誤り率を測る。次に発症前後の録音から合成音声を作って加え、同じ未使用音声で誤り率と本人の修正に要する手間を比べる。短い伝言を相手に渡す作業も試し、録音量や発話内容が研究の条件と異なる点を記録する。
限界と課題
著者らは、発症前の録音が今回より少ない場合でも結果を再現できるかを今後の課題としている。今回の発症前の講義録音は13時間あり、そのうち選別した2時間を音声合成モデルの調整に使った。評価対象はハンガリー語話者1人で、評価用音声も同じ人による文の読み上げだった。
編集上の検証事項は、別の話者、自然な会話、異なる録音環境でも性能が保たれるかである。合成音声の違いを調べる際に用いた認識モデルの誤り率だけで、聞き取りやすさや日常利用時の修正負担まで判断できるかも確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Improved Dysarthric Speech to Text Conversion via TTS Personalization
We present a case study on developing a customized speech-to-text system for a Hungarian speaker with severe dysarthria. State-of-the-art automatic speech recognition (ASR) models struggle with zero-shot transcription of dysarthric speech, yielding high error rates. To improve performance with limited real dysarthric data, we fine-tune an ASR model using synthetic speech generated via a personalized text-to-speech (TTS) system. We introduce a method for generating synthetic dysarthric speech with controlled severity by leveraging premorbidity recordings of the given speaker and speaker embedding interpolation, enabling ASR fine-tuning on a continuum of impairments. Fine-tuning on both real and synthetic dysarthric speech reduces the character error rate (CER) from 36-51% (zero-shot) to 7.3%. Our monolingual FastConformer_Hu ASR model significantly outperforms Whisper-turbo when fine-tuned on the same data, and the inclusion of synthetic speech contributes to an 18% relative CER reduction. These results highlight the potential of personalized ASR systems for improving accessibility for individuals with severe speech impairments.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01