アーカイブ / Audio / AI Agent
音声への批評を台本に戻し、多人数の対話音声を作るDialogueAgents
DialogueAgents
DialogueAgentsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The overall framework of DialogueAgents.
概要
- 人物別の参照音声と設定から台本と会話音声を作り、音声への批評を台本修正と再合成に使う。
- 著者らの30対話の比較では、批評なしから2回修正へ変えるとEMOSは3.64から3.96、TMOSは3.59から3.78になった。
- 3回修正では2回よりEMOSとTMOSが下がった。導入時は修正回数ごとに試聴評価する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DialogueAgentsの仕組み
- 01人物別の音声と設定
- 02台本作成
- 03会話音声の合成
- 04音声への批評
- 05台本修正と再合成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DialogueAgentsは、複数人が交代で話す対話の台本と音声を生成する。著者らによると、既存の音声合成データは単独の発話を中心とするものが多く、会話の前後関係に沿った感情の変化や話者の交代を扱うデータは限られる。
対話データには人手の書き起こしで作られたものもあり、作成費用が課題になる。多人数の会話音声を用意するには、人物ごとの声だけでなく、発話内容のつながりや交代の自然さも確かめる必要がある。
手法
人物ごとの参照音声に、年齢、性格、話し方、人物間の関係を記した設定を組み合わせる。台本作成役が参加者を選び、各発話を話者に割り当て、音声合成役が参照音声を手掛かりに会話音声にする。例えば同僚同士の会話なら、人物設定から発話者付きの台本を作り、対応する声で読み上げる。
批評役は合成された音声を一文ずつ聞き、流れや抑揚、明瞭さ、感情表現への改善指示を文章で返す。台本作成役は指示を受けて言葉を直し、息継ぎや強調など、言葉以外の話し方を示す「パラ言語」の記号と感情ラベルを加える。再び音声にし、設定した回数だけ繰り返して、修正後の台本と音声を得る。
新規性
生成した会話音声を批評役が聞き、その指摘を台本の修正と再合成につなぐ循環が、著者らの提案の中心である。発話内容に加え、息継ぎや強調を示す記号と感情ラベルも修正する。
この仕組みで著者らは、中国語と英語の多人数・複数ターンの音声データセットMultiTalkを作成した。ターンとは、会話の中で話者が担う一回ごとの発話を指す。
従来手法との違い
手法の比較では、同じ初期台本から作る「台本作成役＋音声合成役」を基準に、台本作成役が自分で修正する方式と、音声を聞く批評役の指摘を受ける方式を調べた。批評役を使う方式は修正を1回、2回、3回行っている。
データセットの構成比較では、DailyTalkは英語の2人による対話、KE-Omniはエージェントを順番に使った合成とされる。MultiTalkは中国語と英語の多人数対話を反復して作る設計だが、この構成表だけで音質の優劣は判断できない。
実験結果
著者らは同じ初期台本に基づく30対話で構成と修正回数を比較した。中国語と英語に堪能な20人が5段階で評価したMOSは明瞭さと流暢さ、EMOSは感情と抑揚の適切さ、TMOSは話者交代の自然さを表す。
基準のMOS・EMOS・TMOSは順に3.63・3.64・3.59で、批評役による2回修正では3.75・3.96・3.78だったと著者らは報告する。3回修正では順に3.78・3.91・3.76となった。別に作成したMultiTalkは中国語1,950発話、英語2,487発話の計4,437発話を含む。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：接客研修で、担当者・顧客・同席者が話す模擬会話を作る。入力は利用を認められた人物別の参照音声、人物の設定と関係、研修場面であり、出力は話者を示す台本と会話音声とする。
元データとして各人物の音声が必要で、確認用には発話者、発話内容、感情のラベルを人が付ける。既存音声を使う想定なら収録センサーは不要だが、追加学習用データや新規収録機材の要件は本文で示されていない。業務用語に合わせて台本の指示を調整し、試聴して使えるか確かめる案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの研修場面を選び、利用を認められた話者別の参照音声と、人物の属性・関係を元データとして用意する。本文の枠組みでは既存モデルを各役に使っており、追加学習用データの要件は示されていない。新規収録を行う場合のセンサーや機材の仕様も確認が必要である。
同じ初期台本から批評なしと批評後の音声を作り、発話者、台詞、感情の正解ラベルを人が確認する。業務用語に合わせて人物設定と台本の指示を調整し、聞き手による話者交代・感情・聞き取りの評点と、確認に要した時間を修正回数ごとに記録する。
限界と課題
著者らは、批評と修正を3回行うと、2回の場合より一部の評価値が下がり、過度な修正による雑音や干渉が生じたと説明する。表ではMOSは3.75から3.78に上がる一方、EMOSは3.96から3.91、TMOSは3.78から3.76に下がった。
編集上の検証事項は、参照音声と人物設定が対象業務の話者を表せるか、感情ラベルが聞き手にも適切に伝わるかである。研修で必要な言語、会話の長さ、業務固有の話題での品質は、示された評価だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
DialogueAgents: A Hybrid Agent-Based Speech Synthesis Framework for Multi-Party Dialogue
Speech synthesis is crucial for human-computer interaction, enabling natural and intuitive communication. However, existing datasets involve high construction costs due to manual annotation and suffer from limited character diversity, contextual scenarios, and emotional expressiveness. To address these issues, we propose DialogueAgents, a novel hybrid agent-based speech synthesis framework, which integrates three specialized agents -- a script writer, a speech synthesizer, and a dialogue critic -- to collaboratively generate dialogues. Grounded in a diverse character pool, the framework iteratively refines dialogue scripts and synthesizes speech based on speech review, boosting emotional expressiveness and paralinguistic features of the synthesized dialogues. Using DialogueAgent, we contribute MultiTalk, a bilingual, multi-party, multi-turn speech dialogue dataset covering diverse topics. Extensive experiments demonstrate the effectiveness of our framework and the high quality of the MultiTalk dataset. We release the dataset and code https://github.com/uirlx/DialogueAgents to facilitate future research on advanced speech synthesis models and customized data generation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01