アーカイブ / Audio
文字起こしなしの音声再合成で、言葉と音の特徴はどこまで残るか
Text-Free Speech Synthesis
Text-Free Speech Synthesisの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (a) Architecture of GSLM and (b) Application to Japanese Language
概要
- 録音からHuBERTとk-means法で離散記号を作り、その記号を入力に音声を再合成する研究。
- 著者らの英語・日本語の試験では、音声認識入力の方が言葉の誤り率が低く、離散記号入力は自然さや音響品質の指標で高い条件があった。
- 実務への適用には対象言語と声の学習音声を用意し、内容の誤りと抑揚を別々に確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Text-Free Speech Synthesisの仕組み
- 01録音音声
- 02HuBERTで特徴抽出
- 03特徴を離散記号化
- 04音声を再合成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、録音音声を文字起こしせずに再合成する方法を調べる。通常の音声合成では、学習用の録音に対応する台本を用意し、文字と音の対応を学ぶ。文字起こしのない録音を追加で使うには、この対応付けが負担になる。
録音から合成用の表現を作れれば、文字ラベルのない音声も学習に利用できる。ただし、再合成した声で言葉が正しく伝わるかと、抑揚など音の特徴が残るかは、分けて確かめる必要がある。
手法
入力は録音の波形である。HuBERTという、文字ラベルを使わず音声の特徴を学ぶモデルから、短い時間ごとの特徴を取り出す。似た特徴をまとめるk-means法で、特徴を番号付きの離散記号に変える。例えば日本語の一発話を記号列にし、その列と元の学習音声の組から合成モデルを学ぶ。新たな録音も同じ手順で記号列にして再合成する。
合成にはTacotron 2を使い、メルスペクトログラムという音の周波数ごとの強さを時間順に並べた表現を経て、ボコーダーで波形に戻す。実験では記号の種類数を50、200、1000、HuBERTの出力層を第6層と第12層に変えた。特徴抽出側と合成側の学習言語を一致または不一致にした条件も比べた。
新規性
著者らは、正解の文字起こし、音声認識で得た文字列、録音から得た離散記号を、音声再合成の入力として比べた。言葉の誤り率だけでなく、自然さの自動推定値と、参照音声に対する音響品質も調べている。
英語と日本語で、記号の種類数、音声の特徴を取り出す層、特徴抽出側と合成側の学習言語の組み合わせを変えた。文字を使わない入力の性質を、複数の条件から分析した点が本研究の対象である。
従来手法との違い
正解の文字起こしを入力する方式が参照条件、Whisperによる音声認識結果を入力する方式が比較対象である。離散記号方式では、認識した単語の代わりに、録音から抽出した記号列を使う。いずれも合成にはTacotron 2を用いた。
著者らの試験では、正解の文字起こしが言葉の誤り率で最も低かった。文字ラベルを合成入力に使わない二方式では、音声認識入力の誤り率が低く、離散記号入力は自然さや音響品質の指標で高い値を示す条件があった。
実験結果
著者らは英語のLibriSpeech-devから100発話、日本語のJSSSから学習に未使用の100発話を試験した。英語の単語誤り率（WER）と日本語の文字誤り率（CER）に加え、自然さを自動推定するUTMOS、正解文字列から合成した音声を参照するWARP-Qなどを測った。
学習言語一致・200記号・第12層では、英語WERは離散記号6.63％、音声認識入力5.41％、日本語CERは27.04％対24.62％だった。一方、英語UTMOSは3.60対3.41、WARP-Qは2.89対2.71だった。著者らの結果では、この条件で内容の誤り率は音声認識入力が低く、英語の後二指標は離散記号入力が高い。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内の定型アナウンス録音を、文字起こしを合成入力に使わず再合成する試行を想定する。入力は利用できる日本語録音、出力は内容と声の調子を確認するための再合成音声とする。既存録音以外のセンサーは想定しない。
対象言語の学習用音声から離散記号を作り、対象の声の音声と記号列を対応させて合成モデルを学習する。学習時の文字ラベルは不要だが、確認用には正解の文字起こしを用意する。内容や抑揚が実務に足るかは、この用途で別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象業務の日本語録音を学習用と未使用の確認用に分け、対象の声の学習音声を確保する。録音から記号を作り、記号列と音声の組で合成モデルを対象言語に合わせて学習する。離散記号方式の学習に文字ラベルは使わず、確認用には正解文字列を用意する。追加センサーは不要な計画とする。
同じ確認用録音を離散記号方式と音声認識入力方式で再合成し、正解文字列に対するCERを比べる。原音と出力を聞き比べ、抑揚と聞き取りやすさも記録する。話者や録音条件に合わせた調整後、どの指標を満たせば使えるかを判断する。
限界と課題
著者らは、特徴抽出側と合成側の学習言語の組み合わせが、言葉の誤り率に影響すると報告した。また、日英のUTMOSの絶対値の差には、評価モデルが主に英語音声で学習されたことが関わり得ると述べている。
編集上の検証事項は、対象の話者や録音環境でも同じ傾向が出るか、内容の誤りと抑揚の保持をどう判定するかである。抑揚そのものの測定値は確認できた本文の範囲では示されていない。この試験は録音からの再合成を扱い、任意の文章から発話を作る用途の成績は示していない。
出典
元のタイトル・要旨を確認する（英語）
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
We examine the text-free speech representations of raw audio obtained from a self-supervised learning (SSL) model by analyzing the synthesized speech using the SSL representations instead of conventional text representations. Since raw audio does not have paired speech representations as transcribed texts do, obtaining speech representations from unpaired speech is crucial for augmenting available datasets for speech synthesis. Specifically, the proposed speech synthesis is conducted using discrete symbol representations from the SSL model in comparison with text representations, and analytical examinations of the synthesized speech have been carried out. The results empirically show that using text representations is advantageous for preserving semantic information, while using discrete symbol representations is superior for preserving acoustic content, including prosodic and intonational information.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01