アーカイブ / Audio / AI Agent
役柄と会話の声色から次の台詞の感情を決める音声ロールプレイ
ActorMind
ActorMindの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of ActorMindBench. ActorMindBench comprises three content levels: Utterance-Level includes speech segments with text content and speaker labels; Scene-Level includes scene boundaries and descriptions; Role-Level includes role profiles.
概要
- ActorMindは役柄・場面・直前の会話音声から次の台詞の感情を推定し、同じ役の過去音声を参考にして発話する。
- 著者らのActorMindBenchは7,653発話、313場面、６役で構成される。６役平均RP-MOSはActorMindが3.56、比較対象中で最高のIndexTTSが3.05だった。
- Chandler役のRP-MOSではF5-TTSがActorMindを上回った。別の役柄や接客場面への適用には、導入先の音声と聞き手による検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ActorMindの仕組み
- 01役柄・場面・会話・台詞
- 02設定と文脈を読む
- 03声の感情を記述
- 04次の感情を推定
- 05参考音声で発話
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ActorMindが扱うのは、役柄を保ちながら指定された次の台詞を音声で演じる課題である。同じ言葉でも声の調子や強さで受け取られ方が変わるため、文章だけのロールプレイでは話し方まで評価しにくい。音声を使う模擬対話では、台詞の内容と声の表現を一緒に考える必要がある。
著者らは、従来の役割演技研究が主に文章を対象としてきたと説明する。そこで役柄の説明、場面、直前までの会話を踏まえ、指定された台詞をその役の声と場面に合う感情で話す課題を設定した。
手法
Eyeは役柄の設定、場面説明、直前の台詞を読む。Earは直前の会話音声を聞き、声の調子や感情を文章にする。Brainはそれらと次に読む指定の台詞から、その台詞に与える感情の説明文を作る。例えば、相手が不安げに話した場面なら、その声と役柄を踏まえて返答の話し方を決める。
Mouthは同じ役の過去音声の中から、推定した感情の説明に近い発話を探し、指定の台詞とともに音声合成モデルへ渡す。過去の例を検索して生成の参考にする処理をRAGと呼ぶ。出力は指定の台詞を読んだ音声であり、参考音声がその役の声と感情の手掛かりになる。
新規性
ActorMindの提案は、役柄と場面を読む処理、相手の声色を捉える処理、次の台詞の感情を推定する処理、同じ役の参考音声を選んで発話する処理を順につなぐ点にある。著者らは、既存の音声合成モデルに追加学習なしで組み合わせる枠組みとして示す。
併せて、発話の音声・文字・話者、場面の区切りと説明、役柄の設定を結び付けたActorMindBenchを構築した。台詞を正しく読むことに加え、役の声と場面に応じた感情表現を評価する課題を設けている。
従来手法との違い
比較対象は、音声を入出力できるQwen_Omniと、文字から音声を作るCosyVoice、SparkTTS、IndexTTS、YourTTS、F5-TTSの計６方式である。ActorMindは指定の台詞を読む前に役柄や会話から感情を推定し、同じ役の過去音声を選んで音声合成に渡す。
著者らは各方式の単独利用に加え、５つの音声合成方式それぞれにActorMindを組み合わせた比較も行った。Qwen_Omniは評価対象の役に合わせた声の生成を支えないとして、この組み合わせ比較から除外している。
実験結果
著者らは『Friends』第１シーズンの24話から作ったActorMindBenchで評価した。データは7,653発話、313場面、６役で、音声は計５時間15分。第11～14話をテスト用、残りを学習・運用用とした。RP-MOSは１～５点の主観評点で、役の声と台詞の正確さを前提に、元音声との感情表現の一致を見る。
著者らの報告では、６役平均のRP-MOSはActorMindが3.56、比較対象中で最高のIndexTTSが3.05だった。ただしChandler役はActorMindが3.20、F5-TTSが3.60である。役柄説明を外した条件では６役平均のRP-MOS差が−0.37だったが、処理間の連動を伴う比較である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：接客研修で、顧客役の発話を受けた店員役の台詞音声を作る。入力は収録済みの顧客役の音声、場面説明、店員役の設定、指定した次の台詞とし、研修担当者が出力音声を聞いて応対の印象を確認する。映像などの追加センサーは想定しない。
同じ店員役の利用可能な過去音声と話者ラベル、音声ごとの感情説明、場面と台詞の記録を用意する。役柄の設定文と参考音声の検索対象を研修場面に合わせて調整する必要がある。研修に役立つかどうかは、この用途で別途確かめる仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：接客場面と店員役を一つに絞り、利用可能な同じ役の過去音声、話者ラベル、各音声の感情説明、場面説明、役柄設定、台詞の記録をそろえる。収録済みの顧客役音声を入力し、指定した次の台詞を店員役の音声として出す。入力音声の収録手段は必要だが、映像センサーは想定しない。
同じ台詞を参考音声だけで合成した場合を基準に、感情推定と参考音声検索を加えた場合と比べる。聞き手には役の声、台詞の正確さ、場面に合う感情を同じ尺度で採点してもらう。話者ラベルと感情説明を点検し、役柄設定と検索対象を導入先の会話に合わせて調整する。
限界と課題
著者らは、Chandler役の主観評価ではActorMindが最高点ではなく、多様な話し方が一因かもしれないと述べる。また、構成要素を外す実験では処理が連動する。例えばBrainを外すとMouthの参考音声検索も働かないため、評点差を一要素だけの効果とは読めない。
編集上の検証事項：評価データは特定の英語作品と主要人物に基づく。別の言語、役柄、接客場面でも同じ傾向になるかは未確認である。導入先では役に対応する過去音声と台詞を確保し、聞き手による声の自然さ、内容の正確さ、場面に合う感情の評価方法も定めたい。
出典
元のタイトル・要旨を確認する（英語）
ActorMind: Emulating Human Actor Reasoning for Speech Role-Playing
Role-playing has garnered rising attention as it provides a strong foundation for human-machine interaction and facilitates sociological research. However, current work is confined to textual modalities, neglecting speech, which plays a predominant role in daily life, thus limiting genuine role-playing. To bridge this gap, we conceptualize and benchmark speech role-playing through ActorMindBench, and we present a corresponding reasoning framework, called ActorMind. Specifically, (1) Speech Role-Playing enables models to deliver spontaneous responses with personalized verbal traits based on their role, the scene, and spoken dialogue. (2) ActorMindBench is a hierarchical benchmark comprises Utterance-Level content with 7,653 utterances, Scene-Level content with 313 scenes, and Role-Level content with 6 roles. (3) ActorMind is an off-the-shelf, multi-agent, chain-of-though style reasoning framework that emulates how human actors perform in theaters. Concretely, ActorMind first reads its assigned role description via Eye Agent, then comprehends emotional cues within contextual spoken dialogues through Ear Agent. Subsequently, Brain Agent generates a descriptive emotional state, and finally, Mouth Agent delivers the scripts infused with corresponding emotion state. Experimental results demonstrate the effectiveness of ActorMind in enhancing speech role-playing.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01