表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

テルグ語・タミル語の読み上げを既存音声モデルに追加するPraxy Voice

Praxy Voice

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • テルグ語・タミル語の文字をBUPSでローマ字化し、Chatterboxの文字処理部に追加学習した層を使う。
  • ヒンディー語では追加学習によってLLM-WERが悪化したため、元のモデルを使う経路に分ける。
  • 各言語10文の試験では一部の発音指標で商用システムを上回ったが、対象音数は少なく、ヒンディー語のFADには差が残った。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Praxy Voiceの仕組み

左から右へ読む
  1. 01現地語の原稿
  2. 02英語混在を判定
  3. 03文字変換と経路選択
  4. 04参照音声で生成
  5. 05読み上げ音声

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

Praxy Voiceは文章から音声を作る音声合成システムで、既存モデルが扱えないテルグ語とタミル語の読み上げに取り組む。基盤のChatterboxは23言語に対応するが、この2言語の文字には対応していない。

実務では、文字を入力できるだけでなく、原稿の意味が聞き取れ、対象言語らしい発音になることが重要だ。著者らは約1,220時間の使用許諾を得たインド諸言語の音声を追加学習に使い、商用音声合成システムの出力は学習データに使っていない。

手法

テルグ語とタミル語の原稿は、BUPSという規則で発音の区別を残したローマ字に変換する。Chatterboxの文字入力部が扱える形にしたうえで、文字から音声用の情報を予測する部分に付けたLoRAという小さな追加層を使う。追加学習では音声と対応原稿を使い、音声波形を作る部分は固定する。

生成時には同じ言語の短い参照音声を与え、出力を調整する3つの設定を適用する。ヒンディー語は追加層を使わず、元のChatterboxで生成する。英語の単語が文中に混じる場合は、その単語を現地語の文字で発音に沿って表記し、別のモデルであるIndicF5へ渡す。

新規性

著者らの提案は、文字の変換、文字処理部だけの追加学習、同じ言語の参照音声を組み合わせる方法だ。音声波形を作る部分と話者の特徴を取り出す部分は固定し、追加学習の対象を既存モデルの0.97%に抑えた。

ヒンディー語では追加学習が精度を下げたため、元のモデルへ分岐させる。文中に英語が混じる場合は、別の音声合成モデルを使う経路も設けた。

従来手法との違い

基盤のChatterboxはヒンディー語に対応する一方、テルグ語とタミル語の文字をそのままでは適切に処理できない。Praxy Voiceは両言語の文字をローマ字化し、追加学習した文字処理部に通す。ヒンディー語は元のChatterboxを使う。

著者らの試験では、テルグ語の反り舌音が別の音に置き換わる割合はPraxy Voiceが26.7%、商用のSarvam Bulbulが33.3%だった。ただし対象は15音で、差は1音分に当たる。他の指標まで含めた優位性は、この数値だけでは判断できない。

実験結果

著者らは各言語10文の試験で商用システムなどと比較した。テルグ語の反り舌音の置き換わり率はPraxy Voiceが26.7%、Sarvam Bulbulが33.3%。タミル語の「ழ」の置き換わり率は71.4%で、比較した商用3システムはいずれも85.7%だった。対象音はそれぞれ15音と7音である。

ヒンディー語では、意味を考慮して誤りを数えるLLM-WERが0.025でCartesia Sonic-3と同値だった。一方、音響分布の距離を示すFADはPraxy Voiceが439.3、Sarvam Bulbulが211.8で、低いほどよいこの指標には差が残る。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案。インド向け社内案内をテルグ語とタミル語で読み上げる。入力は現地語話者が確認した原稿と、利用権を確認した同じ言語の参照音声とし、出力した音声を担当者が確認してから配信する。

初期試行では公開済みの追加学習済み重みを使う。論文での追加学習には音声と対応する原稿が使われたが、この試行では新たな学習用音声や書き起こしラベル、専用センサーを用意しない。業務固有の声や語彙へ適応するなら、権利を確認した音声と対応原稿を別途集める必要がある。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案。現地語話者が確認したテルグ語とタミル語の案内文を各10件ほど用意し、その原稿を評価用の正解ラベルとして保存する。利用権を確認した同じ言語の参照音声を入力し、公開済みの追加学習済み重みで生成する。初期試行に新たな学習用音声や専用センサーは用意しない。

利用可能な既存の読み上げ手段を比較対象にし、同じ原稿で固有名詞の誤読、語句の欠落、意味の取り違えを件数で記録する。参照音声を替えた場合も確認する。業務語彙に合わせて追加学習する段階では、権利を確認した音声と対応する書き起こしラベルを準備する。

限界と課題

著者らは、テルグ語の反り舌音は15音、タミル語の「ழ」は7音という少数の評価だと記している。ヒンディー語では追加学習を使うとLLM-WERが0.025から0.334へ悪化した。英語が混じるヒンディー語の文も、商用システムには及ばないという。

編集上の検証事項として、商用システムの出力を参照音声にした評価結果が、自社で用意した音声でも再現するかを確かめたい。基本手順は参照音声を8~11秒とするが、ヒンディー語の評価では6秒の音声を使用している。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost

Commercial TTS systems produce near-native Indic audio, but the best open-source bases (Chatterbox, Indic Parler-TTS, IndicF5) trail them on measured phonological dimensions, and the most widely adopted multilingual base (Chatterbox, 23 languages) does not even tokenise Telugu or Tamil. We ask: what is the minimum intervention that brings such a non-Indic-native base to commercial-class output on Telugu, Tamil, and Hindi, without training a new acoustic decoder and without any commercial TTS training data? We combine three pieces: (1) BUPS, a Brahmic Unified Phoneme Space that deterministically romanises seven Indic scripts to ISO-15919 so Chatterbox's Latin tokeniser can process them; (2) a LoRA adapter on only the text-token predictor (Chatterbox's t3), trained on ~1,220h of licensed Indic audio with a Hindi-proxy language_id; (3) a voice-prompt recovery recipe -- an 8-11s same-language reference clip plus three sampling overrides (exaggeration 0.7, temperature 0.6, min_p 0.1; "Config B") -- that recovers commercial-class acoustic output with no acoustic-decoder training. On Hindi, the LoRA regresses accuracy and we instead use vanilla Chatterbox + Config B, giving a two-branch deployment. Evaluated on 10-utterance pilot sets with the companion PSP benchmark, Praxy Voice matches or slightly leads commercial baselines: 26.7% retroflex collapse on Telugu (vs Sarvam Bulbul 33.3%), 71% Tamil-zha collapse (vs commercial trio's 86%), 0.025 LLM-WER on Hindi (tied with Cartesia Sonic-3). For intra-sentential code-mix we add a third branch (IndicF5 + native-script transliteration) that drops code-mix LLM-WER from 0.80-0.85 to 0.14-0.27 across Hi/Te/Ta. We release R6 LoRA weights (Apache-2.0), inference code and router (MIT), and a Gradio demo.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01