アーカイブ / Audio
音声と発音列を組み合わせ、日本語のアクセントと句の切れ目を推定する
Prosody Labeling with Phoneme-BERT and Speech Foundation Models
概要
- 音声モデルと言語モデルの特徴を音素単位で結合し、日本語のモーラ単位の韻律ラベルを予測する。
- 著者らのCSJ評価では、HuBERT-baseとPnG BERTの組み合わせでACC 89.8％、HL 93.2％、BI 94.3％の正解率だった。
- 予測ラベルを音声合成の学習に使った場合の効果は、この研究では評価されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Prosody Labeling with Phoneme-BERT and Speech Foundation Modelsの仕組み
- 01音声・台本・音素列
- 02音素単位の特徴抽出
- 03特徴の結合と予測
- 04モーラ韻律ラベル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、日本語の録音にアクセントや句の切れ目を示すラベルを付ける。韻律とは、声の高低や間、区切りなどの話し方を指す。音声合成で意図した読み方を指定するには、こうした情報を明示した学習資料が役立つ。
韻律ラベルの手作業による付与には専門知識が要る。自動で候補を作り、人名のアクセントや誤解を招く区切りを人が直せれば、音声合成用の資料を整える作業に利用できる。
手法
入力は音声波形と、書き起こしなどから得た音素列である。音素は発音を構成する単位を指す。音声モデルが出す短い時間ごとの特徴を、音声と音素の対応付けで得た各音素の長さに沿って平均する。PnG BERTなど、発音列を扱える言語モデルからも音素ごとの特徴を取り出す。
両モデルの複数の層から得た特徴をそれぞれ重み付きでまとめ、結合して予測器に渡す。学習時は両モデル本体を固定し、層を選ぶ重みと予測器を更新する。出力はアクセント記号ACC、高低HL、句の境界の強さBI、短い無音の有無PAUである。例えば「明日は晴れですか」の録音から、疑問文末の上昇を表す記号を含むラベル候補を得る。
新規性
著者らは、事前学習済みの音声モデルと言語モデルの中間出力を音素単位にそろえて結合し、韻律ラベルを予測する。録音から得る声の高低や間の情報と、発音列などから得る言語情報を同時に使う構成である。
書き起こしなどから音素列が得られることを前提に、音素認識と韻律推定を別の課題として扱う。予測するのは最終的にモーラ単位のラベルであり、学習時はモーラの中心に当たる音素を対象とする。
従来手法との違い
著者らは、音響入力にHuBERT-base、Whisper-small、メルスペクトログラム、基本周波数F0、入力なしを用いた。言語入力はPnG BERT、PL-BERT、音素を個別の記号で表す方式、入力なしを比較した。
CSJでHuBERT-baseとPnG BERTを組み合わせた場合、ACC・HL・BIの正解率はHuBERT-base単独、PnG BERT単独のいずれよりも高かった。音響入力を固定した比較では、PAUまで含む全指標で同じ優劣が成り立つわけではない。
実験結果
著者らは日本語話し言葉コーパスCSJの中核データを、学習24,863発話、開発900発話、評価896発話に分けた。手作業の注釈をモーラ単位の正解ラベルに変換し、正解率と、各クラスのF1を平均するマクロF1で評価した。
HuBERT-baseとPnG BERTの組み合わせでは、ACC・HL・BI・PAUの正解率は順に89.8％・93.2％・94.3％・98.7％、マクロF1は0.852・0.932・0.876・0.820だった。これらはラベル予測の結果であり、合成音声の聞こえ方を測った値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：日本語の案内音声を収録した後、対応する確定台本と録音を入力し、アクセント、句の切れ目、短い無音の候補を出す。担当者が固有名詞や意味に関わる区切りを確認し、修正済みラベルを音声合成用の資料に加える流れを想定する。
この用途には、台本に対応する音声、台本から得た音素列とその時間位置、専門家が付けた韻律ラベルを学習用にそろえる必要がある。案内文特有の語彙や読み方への調整と、修正後の音声品質の確認も別途要る。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の案内音声と確定台本を集め、音素列、各音素の時間位置、専門家によるACC・HL・BI・PAUの正解ラベルをそろえる。対象の語彙と話し方に合わせた学習・調整を行い、担当者による従来の手作業付与を基準に、自動候補を修正する作業と比べる。
ラベル別の正解率とマクロF1に加え、修正に要した時間を記録する。固有名詞、疑問文末、短い無音を個別に点検し、音素列や時間位置の誤りも記録する。その結果から、学習用の録音と専門家ラベルを追加すべきか判断する。
限界と課題
著者らは、予測ラベルを音声合成の学習に使った効果は今後調べるとしている。また、評価は日本語の韻律ラベルに限られ、他言語での効果も今後の検討対象としている。
編集上の検証事項として、案内音声の録音条件や話し方が変わった場合の誤りを調べたい。入力する音素列と、音声中の各音素の時間位置を得る工程が必要なため、その誤りが韻律ラベルへどう影響するかも導入先で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Prosody Labeling with Phoneme-BERT and Speech Foundation Models
This paper proposes a model for automatic prosodic label annotation, where the predicted labels can be used for training a prosody-controllable text-to-speech model. The proposed model utilizes not only rich acoustic features extracted by a self-supervised-learning (SSL)-based model or a Whisper encoder, but also linguistic features obtained from phoneme-input pretrained linguistic foundation models such as PnG BERT and PL-BERT. The concatenation of acoustic and linguistic features is used to predict phoneme-level prosodic labels. In the experimental evaluation on Japanese prosodic labels, including pitch accents and phrase break indices, it was observed that the combination of both speech and linguistic foundation models enhanced the prediction accuracy compared to using either a speech or linguistic input alone. Specifically, we achieved 89.8% prediction accuracy in accent labels, 93.2% in high-low pitch accents, and 94.3% in break indices.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01