アーカイブ / Audio
音声認識と音声生成を共同で事前学習するUniWav
UniWav
UniWavの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Utterance 7176-88083-0014 from test-clean
概要
- UniWavは転記のない音声から、認識用の特徴抽出器と生成用のデコーダを共同で事前学習する。
- LibriSpeechの認識評価では、転記付き100時間で追加学習した場合、test-otherの単語誤り率は4.8％だった。
- 文脈付き音声合成と低ビットレートの音声再合成にも適用した。各用途には追加学習や調整が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、UniWavの仕組み
- 01音声の特徴列
- 02一部を隠して符号化
- 03雑音から特徴を生成
- 04音声の特徴列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
UniWavは、音声を聞き取るための特徴抽出と、音声を作るための生成を一つの事前学習で扱う。事前学習とは、個別の用途に合わせる前に共通の性質を学ぶ段階を指す。用途ごとに別の基盤モデルを用いると、それぞれの学習と管理が必要になる。
認識では話者や録音環境が違っても言葉を捉えたい。一方、音声生成には声色などの情報も要る。論文は、この異なる要求を共同で学習した音声モデルでどこまで満たせるかを調べた。
手法
UniWavは音声を時系列の特徴列に変え、一部を隠してエンコーダに入力する。エンコーダは、隠れた位置の「擬似ラベル」を予測する。擬似ラベルは、欠けていない音声を見た教師モデルの特徴を似たもの同士でまとめた目標値である。教師モデルはエンコーダの重みを少しずつ反映して更新され、転記なしで学習できる。
デコーダはエンコーダの複数層の特徴を手掛かりに、雑音から音声の特徴へ変化する方向を学ぶ。これをフローマッチングという。たとえば録音の特徴列を隠して予測と生成を共同で学び、事前学習後は認識用にエンコーダ、合成用にデコーダを追加学習する。生成した特徴を波形に戻す際はEnCodecのデコーダを使う。
新規性
著者らが主張する新規性は、転記のない音声から、認識に使う特徴抽出器と生成に使うデコーダを一体で事前学習する枠組みにある。隠した音声の特徴を当てる学習と、音声の特徴を生成する学習を組み合わせる。
さらに、両者の間に離散的な符号を挟み、音声を符号化して再合成する用途にも適用した。認識、合成、再合成には用途ごとの追加学習や調整を行っている。
従来手法との違い
認識向けの従来法は、隠した音声から言葉に関わる特徴を学ぶ。生成向けのモデルは音声の再現を学ぶ。UniWavは二つの学習目標を共有し、認識用エンコーダと生成用デコーダを一組として得る。
論文は認識でHuBERTやdata2vec 2.0、合成でSpeechFlowなどと比較した。ただし、事前学習データ量、転記付きデータの使用、合成時の時刻対応ラベルなどの条件が異なる。表の数値だけから学習費用の優劣は判断できない。
実験結果
著者らは転記のない英語音声LibriLight約6万時間で事前学習した。LibriSpeechの転記付き100時間、960時間で認識用に追加学習すると、test-otherの単語誤り率は順に4.8％、4.0％だった。比較表のdata2vec 2.0は同じ順に4.3％、3.5％である。
文脈付き音声合成はLibriSpeechの960時間で追加学習し、test-cleanで3秒の話者音声を条件に評価した。UniWavの自動認識による単語誤り率は2.5％、話者類似度は0.635。符号化と再合成では、500 bpsのtestで自動認識による単語誤り率7.1％、UTMOSは3.59だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の社内研修音声を検索用に文字起こしし、確認済みの英語原稿から読み上げ音声も作る。入力は利用条件を確認した録音、認識用の正解転記、合成用の原稿と対応する音声、話者の手掛かりになる短い音声。出力は検索用の転記文と読み上げ音声とする。
対象の録音と転記で認識器を追加学習する。合成には原稿に対応する音声と、発音単位を音声の時刻に対応させたラベルを用意して調整する。社内録音で両方が使えるかは別途検証が必要である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用条件を確認した英語の研修録音を集め、一部に人手で正解転記を付ける。UniWavのエンコーダを追加学習し、既存の認識手段と同じ評価音声で単語誤り率を比べる。話者や録音場所ごとの誤りも集計する。
読み上げには原稿と対応する音声、話者の手掛かりになる音声、発音単位の時刻対応ラベルを用意し、デコーダを調整する。既存の合成手段と同条件で原稿との一致、話者類似度、聞き取りやすさを調べる。ラベル作成と調整に要した作業量も記録する。
限界と課題
著者らは、音声認識の単語誤り率が最高水準の先行法より約0.5ポイント高いと述べる。また、教師の特徴をクラスタにまとめない設定や、事前学習済みHuBERTを教師にする設定では、共同学習が不安定だったと報告する。
編集上の検証事項は、対象言語や社内録音への適応、雑音や複数話者がいる場合の転記精度、生成音声の聞き取りやすさである。合成評価には発音単位の時刻対応が与えられているため、そのラベルを作る作業量も測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
UniWav: Towards Unified Pre-training for Speech Representation Learning and Generation
Pre-training and representation learning have been playing an increasingly important role in modern speech processing. Nevertheless, different applications have been relying on different foundation models, since predominant pre-training techniques are either designed for discriminative tasks or generative tasks. In this work, we make the first attempt at building a unified pre-training framework for both types of tasks in speech. We show that with the appropriate design choices for pre-training, one can jointly learn a representation encoder and generative audio decoder that can be applied to both types of tasks. We propose UniWav, an encoder-decoder framework designed to unify pre-training representation learning and generative tasks. On speech recognition, text-to-speech, and speech tokenization, UniWav achieves comparable performance to different existing foundation models, each trained on a specific task. Our findings suggest that a single general-purpose foundation model for speech can be built to replace different foundation models, reducing the overhead and cost of pre-training.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01