アーカイブ / Audio
会話らしい声の複製をどう測るか、CoVoCが示す評価項目と弱点
CoVoC Challenge
CoVoC Challengeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Average CER for each team across different text sets. The redder the color, the higher the CER.
概要
- CoVoCは会話調のゼロショット声の複製を、制約部門と無制約部門で比較する評価課題である。
- 20人の参照音声と430種類の文章を使い、発音、話者類似、自然さ、会話らしさを測った。
- 著者らは長文や一部の発音、参照音声の話し方による難しさを報告している。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoVoC Challengeの仕組み
- 01参照する声と文章
- 02各方式で音声合成
- 03発音と声色を測定
- 04聴取者が採点
- 05項目別の結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
声の複製は、短い参照音声から話者の特徴を読み取り、新しい文章をその人らしい声で話させる技術である。会話では言いよどみ、間、強弱などが加わるため、整った朗読だけで品質を測りにくい。
CoVoCは、初めて聞く話者の声でも合成する「ゼロショット」の会話音声を共通の課題で比べる大会として設けられた。音声案内などに使う際は、発音、声色、会話らしさを分けて確認する必要がある。
手法
参加方式には、目標話者の短い参照音声と新たに読ませる文章が渡される。各方式が合成音声を提出し、主催者は音声認識で起こした文字と正解文との差、参照音声との声の特徴の近さを測る。例えば会話文を入力し、言いよどみのある語句も含めて音声を作る。
人による採点では、自然さ、音質、話者との類似、会話らしさをそれぞれ5段階で評価し、四項目を同じ重みで合算する。文字誤り率は文字の読み間違いの割合、話者類似度は声の特徴を数値化して比べた値であり、どちらか一方だけでは会話らしい音声か判断できない。
新規性
CoVoCの貢献は、新しい一つの音声生成モデルではなく、会話調の声を初見の話者にも似せて作る課題を共通条件で比べる場を設けたことにある。学習データを指定する部門と自由に使える部門を分けた。
発音の誤りと声の似方を自動で測り、聞き手には自然さ、音質、話者との類似、会話らしさを別々に採点してもらう。長文や口語表現など、難しさの異なる文章も含めた。
従来手法との違い
制約部門は指定データセットだけを学習に使い、事前学習済みの公開モデルは許される。無制約部門には学習データや方法の制限がないため、部門をまたぐ順位を同条件のモデル性能差と読んではいけない。
提出方式には、直前の音を順に予測する自己回帰型と、順番に一音ずつ作る構成を必須としない非自己回帰型があった。論文は両者の発音誤りや会話らしさを比較するが、方式だけが差の原因だとは断定できない。
実験結果
著者らは20人の参照音声と430種類の文章を用意し、各方式が計8,600件の合成音声を作る設定にした。文章には会話、口語、言いよどみ、長文などが含まれる。客観評価は全件、主観評価は抽出した100件を10人の評価者が採点した。
最終提出は11チームで、表には主催者の方式も別に載る。著者らの表では無制約部門U1の文字誤り率が2.56％、話者類似度が0.843、最終評点が3.83。制約部門C1の最終評点は3.71だった。主催者方式の3.91は順位の対象外である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：音声案内の試作で、担当者が用意した短い参照音声と案内文から会話調の読み上げを作り、候補システムを選ぶ。入力は話者の音声と文章、出力は合成音声と項目別の評価表である。
案内文には短文だけでなく、口語や長めの説明も入れる。利用者に聞いてもらい、聞き取りやすさ、声の似方、間の取り方を分けて評価する。特定の提出方式をそのまま推奨する案ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際に読み上げたい短文、口語文、長文を少数そろえ、同じ参照音声で候補方式を比べる。基準には現在使う読み上げ方式を置き、文章と参照音声の条件をそろえる。
文字誤り率と話者類似度を計算し、人の試聴では自然さ、音質、声の似方、会話らしさを別々に記録する。長文だけで誤りが増えないか、参照音声が朗読調の場合に評点が下がらないかも測る。
限界と課題
著者らの分析では、巻き舌を伴う発音を含む文章で文字誤り率が上がり、長文でも一部の方式に誤りが増えた。参照音声の話し方によって会話らしさの評点が変わり、短い参照だけで安定した結果になるとは限らない。
編集上の確認点は、対象言語や話者の違い、実際に使う文章の長さに対する再現性である。順位はこの大会のデータと採点条件での結果であり、個別用途の音声品質を保証しない。
出典
元のタイトル・要旨を確認する（英語）
The ISCSLP 2024 Conversational Voice Clone (CoVoC) Challenge: Tasks, Results and Findings
The ISCSLP 2024 Conversational Voice Clone (CoVoC) Challenge aims to benchmark and advance zero-shot spontaneous style voice cloning, particularly focusing on generating spontaneous behaviors in conversational speech. The challenge comprises two tracks: an unconstrained track without limitation on data and model usage, and a constrained track only allowing the use of constrained open-source datasets. A 100-hour high-quality conversational speech dataset is also made available with the challenge. This paper details the data, tracks, submitted systems, evaluation results, and findings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30