アーカイブ / Audio
DualCodec：発話内容を捉える符号と音の細部を分け、短い符号列で音声を生成
DualCodec
DualCodecの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : The dual encoding method for neural audio codecs. The upper stream is SSL encoding, and the lower stream is waveform encoding. Given a speech input, the SSL feature is obtained from a pretrained w2v-bert-2 [ 14 ] model and then encoded as the codec’s first-layer token (RVQ-1). The remaining RVQ layers encodes the residual between the waveform feature and the RVQ-1 feature, and outputs audio. The framework is trained end-to-end requiring an additional L2 SSL feature loss in addition to codec training losses.
概要
- DualCodecは、自己教師あり音声特徴を第1層の符号に変え、波形特徴との差を後続層で表す。
- 著者らのSeed-TTS-Eval評価では、25Hz・1024語の第1層のみから復元した音声の語誤り率が、蒸留版より英語・中国語とも低かった。
- VALL-Eを使った比較では、12.5Hz版は25Hz版より実時間係数が小さい一方、英語の語誤り率が高かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DualCodecの仕組み
- 01入力音声
- 02自己教師あり特徴
- 03第1層を符号化
- 04波形との差を符号化
- 05復元音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DualCodecは、音声生成モデルが扱う音声コーデックを改良する。音声コーデックとは、波形を離散的な符号列に圧縮し、その符号から音を復元する仕組みである。文章から音声を作るモデルは、この符号列を予測できる。
1秒当たりの符号の刻みを減らす低フレームレート化は、予測する列を短くする。ただし、短い符号列で発音に関わる情報と復元後の音質を保つのは難しい。読み上げ用途では、内容の正確さと聞こえ方の両方が問題になる。
手法
入力音声を二つの経路へ送る。一方では、事前学習済みの自己教師あり音声モデルから発音や語に関わる特徴を取り、第1層の離散的な符号へ変換する。自己教師ありとは、書き起こしを直接与えずに音声の特徴を学ぶ方法で、ここではw2v-BERT-2.0の特徴を使う。
もう一方では波形の特徴を取り出し、第1層が表した特徴を差し引く。残りを後続の符号層で順に表す処理は、前層で表しきれなかった差を次層が受け持つ残差ベクトル量子化と呼ばれる。例えば短い発話を符号化すると、復号器は第1層と後続層の情報を合わせて音声を再構成する。音声生成時には、生成モデルが予測した符号を復号器へ渡す。
新規性
DualCodecは、自己教師あり音声モデルの特徴を第1層の符号へ直接変換し、波形特徴との差を後続層で表す。意味に関わる情報と、音を再構成するための情報を異なる経路から取り込む設計が提案の中心だ。
著者らは、この設計を12.5Hzと25Hzのコーデックで実装した。第1層を波形から作り、自己教師あり特徴に近づける従来の蒸留方式とは、符号化する入力の分け方が異なる。
従来手法との違い
SpeechTokenizerとMimiは、自己教師あり音声特徴の情報を第1層の符号へ移す蒸留を使う。DualCodecではその特徴から第1層を作り、波形特徴との差を後続層に割り当てる。DACとEncodecも音声コーデックの比較対象に含まれる。
著者らが25Hz、1024語の第1層という同じ設定で再学習したDAC、蒸留版、二経路版では、第1層だけから復元した音声の語誤り率に差が出た。一方、公開済みモデルを含む音質比較はビットレートや学習条件が一律ではない。
実験結果
著者らはSeed-TTS-Evalで、第1層だけから復元した音声を音声認識にかけ、語誤り率を測った。25Hz、1024語の第1層では、英語・中国語の順に、再学習したDACが55.4％・46.4％、蒸留版が28.4％・26.4％、二経路版が5.59％・6.52％だった。語誤り率は低いほどよい。
音声生成では、VALL-Eと組み合わせた12.5Hz版の実時間係数が0.16、25Hz版が0.30だった。実時間係数は処理時間を音声の長さで割った値で、この測定条件はA100 GPUである。同じ比較で英語の語誤り率は12.5Hz版が4.40％、25Hz版が3.40％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内FAQの確定済み日本語回答を、指定した話者の音声で読み上げる。入力は承認済みの文章と利用許諾を得た話者の音声例とし、音声生成モデルが予測したDualCodecの符号を復号して、確認用の音声を出力する。
業務用語に適応させるなら、対象領域の日本語音声、対応する書き起こし、複数話者を扱う場合の話者ラベルを用意し、生成モデル側の適応と聞き取り確認を行う。FAQ用途や日本語の業務用語での性能は、確認できた本文の範囲では示されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：日本語FAQの評価文と、利用許諾を得た話者の音声例を用意する。対象領域への適応を行う場合は、対応する日本語音声と書き起こしを集め、複数話者なら話者ラベルも揃える。生成モデル側の適応条件を記録したうえで、DualCodecの25Hz版と12.5Hz版を同じ文章で試す。
比較基準には、同じ音声生成方式にMimiを組み合わせた設定を置く。各出力の語誤り率、話者類似度、実時間係数を測り、固有名詞や数字の誤読は人が確認する。評価文、音声例、測定環境を揃え、速度と内容の正確さを別々に判断する。
限界と課題
著者らが明記する限界は、DualCodecを使った音声生成で12.5Hz版と25Hz版の性能に差が残ることだ。VALL-Eとの組み合わせでは、12.5Hz版の実時間係数が小さい一方、英語の語誤り率と話者類似度は25Hz版より劣った。
編集上の検証事項は、日本語の固有名詞や数字の誤読、話者の再現性、実際の処理時間である。また再構成品質の表ではG5のMUSHRAが88.2、説明文では94.8と食い違う。この数値を比較に使う前に、原表や訂正の有無を確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
DualCodec: A Low-Frame-Rate, Semantically-Enhanced Neural Audio Codec for Speech Generation
Neural audio codecs form the foundational building blocks for language model (LM)-based speech generation. Typically, there is a trade-off between frame rate and audio quality. This study introduces a low-frame-rate, semantically enhanced codec model. Existing approaches distill semantically rich self-supervised (SSL) representations into the first-layer codec tokens. This work proposes DualCodec, a dual-stream encoding approach that integrates SSL and waveform representations within an end-to-end codec framework. In this setting, DualCodec enhances the semantic information in the first-layer codec and enables the codec system to maintain high audio quality while operating at a low frame rate. Note that a low-frame-rate codec improves the efficiency of speech generation. Experimental results on audio codec and speech generation tasks confirm the effectiveness of the proposed DualCodec compared to state-of-the-art codec systems, such as Mimi Codec, SpeechTokenizer, DAC, and Encodec. Demos are available at: https://dualcodec.github.io, code is available at: https://github.com/jiaqili3/DualCodec
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01