アーカイブ / Audio
混在文の外国語句だけ発音を調整する音声合成法
Phrase-Localized Language-Contrastive Guidance (LCG)
Phrase-Localized Language-Contrastive Guidance (LCG)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Conceptual illustration of cross-lingual accent leakage and localized control. (Left) The unguided Baseline flattens the foreign embedded phrase into the matrix carrier language accent, causing mispronunciation and acoustic distortion around the embedded segment. (Right) Our proposed LCG framework applies localized guidance over the self-derived phrase boundaries, enforcing authentic native pronunciation while preserving the surrounding matrix carrier quality and speaker identity.
概要
- LCGは、文中の外国語句に対応する音声区間だけに、その言語への誘導を加える。
- 合成モデル内部の注意重みで区間を推定し、この調整のための追加学習や外部の位置合わせモデルを使わない。
- 著者らの12言語方向・1,200文の評価では、MERが0.564から0.445へ低下した一方、UTMOSは3.411から3.285へ低下した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Phrase-Localized Language-Contrastive Guidance (LCG)の仕組み
- 01混在原稿・参照音声
- 02注意重みで句を特定
- 03区間を結合・拡張
- 04言語差を局所誘導
- 05合成音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
一文の途中に別の言語の語句を入れる話し方を、コードスイッチングという。多言語の音声合成では、挿入した外国語句まで主言語の発音に寄り、読みが崩れることがある。
案内や読み上げに使うなら、外国語句の発音に加えて、前後の文の自然さと話者の声も確かめたい。著者らは、文全体に一律の言語条件をかける合成時の誘導に着目した。
手法
LCGは、既存の多言語音声合成モデルが音声を作る途中で、外国語句の区間だけ発音への誘導を変える。入力には原稿、挿入句の文字範囲と言語、話者の参照音声を使う。例えば英語の「I love」に韓国語の「매콤한 김치」を続けた文では、韓国語句の位置を指定する。モデル内部の「注意重み」は、生成中の音声の各位置が原稿のどの部分を参照するかを表す値で、句に対応する音声区間の推定に使う。
主言語と挿入句の言語をそれぞれ指定して得た区間を合わせ、境界を前後に広げる。対象区間を示す印が「マスク」である。その区間には両言語の予測の差を、独立に設定できる強さで加え、ほかの区間には主言語の誘導を保って一続きの音声を出力する。
新規性
LCGは、主言語を指定した場合と挿入句の言語を指定した場合の予測の差を、挿入句に対応する音声区間だけに加える。その強さを、文全体にかける誘導の強さとは独立に設定できる。
区間は合成モデル内部の注意重みから推定する。著者らの方式は、この調整のための追加学習や外部の位置合わせモデルを使わず、音声を生成する際に適用する。
従来手法との違い
主な比較対象は、主言語の条件を文全体に適用し、挿入句だけの発音調整を行わない元の合成方式である。LCGは文全体への誘導を保ち、推定した挿入句の区間に言語条件の差を加える。
著者らは、区間内の条件を単純に切り替える「Swap」も示す。Swapでは局所的な調整の強さが文全体の誘導設定と連動するが、LCGでは別の値で指定できる。
実験結果
著者らは英語・ドイツ語・フランス語・日本語・韓国語を使い、12の言語方向に各100文、計1,200文の合成評価コーパスを作った。各文には複数の挿入句がある。表の比較は、局所調整のない方式と、区間を結合・拡張したLCGで、LCGの局所誘導の強さは7である。
著者らの12方向平均では、音声認識による混合誤り率MERが0.564から0.445に低下し、挿入句の言語の文字を正しく捉えた割合LAeが0.233から0.518に上昇した。一方、予測自然さのUTMOSは3.411から3.285に低下した。数値はこのコーパスと設定での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：日本語の施設案内に英語の名称を挿入した音声を試作する。入力は混在文、英語句の文字範囲と言語指定、話者の参照音声とし、一続きの案内音声を出力する。担当者が名称の聞き取りと前後の日本語のつながりを確認する。
既存の対応可能な多言語音声合成モデルを使い、この方式のための追加学習データは収集しない。評価用には名称の正しい表記と読みを記録する。新たなセンサーは想定せず、英語句の指定と参照音声の準備を適用時の作業とする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：日本語に英語の名称を挿入した短文を複数用意し、句の文字範囲と言語を指定する。同じ原稿と既存の参照音声から、局所調整のない音声とLCG適用音声を作る。適用のための追加学習データや音声区間の正解ラベル、新たなセンサーは用意しない。
確認用には名称の正しい表記・読みと言語をラベルとして記録する。同じ評価者に両音声を聞いてもらい、名称の誤読件数、前後の日本語の自然さ、声の一貫性を比べる。挿入句の指定と誘導の強さを調整する作業も記録し、現場の原稿で使えるか判断する。
限界と課題
著者らの表では、12方向平均で発音に関する指標が改善する一方、予測自然さのUTMOSは3.411から3.285、参照音声との話者類似度SIMは0.973から0.969に下がった。これらの数値も、導入時に確認すべき結果である。
編集上の検証事項は、施設名や短い挿入句でも聞き取りと声の一貫性が保たれるかである。著者らは聴取試験の実施と評価項目を記すが、確認できた本文の範囲ではその結果と詳しい手順が分からず、人による評価の結論は述べられない。
出典
元のタイトル・要旨を確認する（英語）
Phrase-Localized Language-Contrastive Guidance: Training-Free Localized Accent Control for Code-Switching Text-to-Speech
Current speech synthesis struggles with code-switching, which mixes a foreign language phrase into a primary language utterance, causing the phrase to be spoken with the primary language's accent rather than its native one. We propose Phrase-Localized Language-Contrastive Guidance (LCG), a training-free inference framework that restores a native accent to code-switched phrases in cross-lingual text-to-speech. LCG replaces the single language guidance applied across the whole utterance with a separate guidance for each region, so each part is guided by its own language. To choose where to apply this localized guidance, we propose a self-attention probing technique that finds the phrase boundaries without external alignments. Together, these components generate speech in which each region carries the accent of its own language, requiring no fine-tuning or auxiliary models. Across diverse language pairs, LCG robustly increases the nativeness of the code-switched phrase while suppressing accent leakage, and preserving overall speaker identity and naturalness.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01