アーカイブ / Audio
音声対話の発話交代を、行動と場面の両方で測るCoDeTT
CoDeTT
CoDeTTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: A conceptual comparison between traditional action-based benchmarks and the proposed CoDeTT intent-based diagnostic benchmark.
概要
- CoDeTTは発話交代を四つの行動と14の場面で評価する。
- 英語・中国語の対話300時間超から、18,000件の判断事例を構成した。
- 行動の正解率に加え、行動は正しくても場面予測を誤った割合をSMRで測る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoDeTTの仕組み
- 01音声・文と対話履歴
- 02発話状態を確認
- 03四行動に統一
- 0414場面を追加評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声対話システムは、利用者が話し終えたら応答し、途中で割り込まれたら聞く側に回る。この話す順番の調整を発話交代という。応答が早すぎても遅すぎても、会話は進めにくくなる。
発話の終わりだけを検出する評価では、同じ「応答しない」という行動が、考え中の間への対応なのか、周囲の物音への対応なのかを区別できない。CoDeTTは、会話の文脈と発話状態を含めて、その違いを評価する基盤である。
手法
CoDeTTは、音声または文、対話履歴、システムが発話中か待機中かという状態を使い、モデルの発話交代判断を評価する。出力を「話し続ける」「止めて聞く」「応答を始める」「応答しない」の四行動にそろえる。例えばシステムの説明中に利用者が短く「うん」と言った場合、話し続ける判断が適切かを調べる。
細かな分類を出せるモデルでは、相づちや割り込みなど14場面の予測も正解と照らす。ACCは正解率、SMRは行動が正しかった事例のうち場面予測を誤った割合を指す。評価データは、対話文の生成と確認、音声合成、文字起こしによる確認、環境音の混合、実際の会話の取り込みを経て構成された。
新規性
CoDeTTは、発話交代を「話すか黙るか」という境界判定から、発話状態に応じた四つの行動と14の場面を持つ判断課題として扱う。行動の正解率に加え、正しい行動を選んでも場面分類が誤っていた割合を測る。
この二層の設計により、同じ行動に至った事例でも、相づち、割り込み、雑音などを区別して評価できる。ただし、場面の予測が合うことは、モデル内部の判断過程が正しいことの証明ではない。
従来手法との違い
従来の評価には、発話の終わりを検出する二択の課題や、システムが話したか黙ったかを測る方法がある。確認できた本文の範囲では、これらは異なる場面で同じ行動が選ばれた理由を調べにくいと著者らは説明する。
CoDeTTは各モデルの出力を四行動にそろえて比較し、細かな分類を出せる音声言語モデルには14場面の予測も求める。終端判定などを担う専用モデルは14場面を出力できないため、その指標では比較対象に含めない。
実験結果
著者らは、英語と中国語の対話300時間超から、14場面に属する判断事例18,000件を構成した。発話中と待機中は各9,000件で、各事例には五往復の履歴と対象の利用者発話がある。評価では履歴を0、1、3、5往復使う条件を比較した。
四行動と14場面のACC、行動は正しいが場面予測を誤った割合であるSMRを報告する。表3ではQwen3-Omniの中国語・履歴0往復における「話し続ける」場面平均ACCは50.67%、SMRは24.65%だった。二言語を扱う注釈者２人がデータの1%を点検し、一致度を示すκは0.87と報告された。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：中国語の顧客通話を支援する対話システムで、短い相づちと利用者の割り込みを区別する。入力は通話音声または文字起こし、直前の対話履歴、システムの発話状態とし、出力は発話を続けるか止めるかの判断と場面分類にする。
自社で適応させるには、対象通話の学習用・検証用データに、話者、発話状態、四行動、場面の正解ラベルが必要となる。既存の収音経路で話者の重なりを捉えられるかを確かめ、実際の言い回しに合わせて分類基準とモデルを調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の中国語通話から音声または文字起こしと対話履歴を集め、発話状態、話者、四行動、場面の正解ラベルを付ける。既存の収音経路で相づち、第三者の声、重なった発話を確認する。モデルを適応させる場合は、ラベル付き通話を学習用と検証用に分ける。
現行の発話終端による判断を基準に、同じ事例で四行動のACCを比べる。場面も予測するモデルにはSMRを加え、相づちで誤って停止した件数と割り込みを見逃した件数を別々に数える。履歴の長さごとの成績と応答までの時間を測り、採用を判断する。
限界と課題
著者らが示す評価上の制約として、発話終端を扱う専用モデルは14場面の予測を出せず、SMRを算出できない。また、履歴を長くした条件では、一部のモデルで割り込みに対する成績が下がると報告している。
編集上の検証事項は、合成音声を含む英語・中国語の結果が、対象通話の雑音、話者の重なり、言葉遣いでも成り立つかどうかである。SMRは場面予測の誤りを数える指標であり、応答の速さや利用者の満足度は運用環境で別に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
CoDeTT: A Context-Aware Decision Benchmark for Turn-Taking Evaluation
Turn-taking modeling is fundamental to spoken dialogue systems, yet its evaluation remains fragmented and often limited to binary boundary detection under narrow interaction settings. Such protocols hinder systematic comparison and obscure model weaknesses across conversational conditions. We present CoDeTT, a context-aware decision benchmark for turn-taking evaluation. CoDeTT formulates turn-taking as a structured decision problem and constructs a multi-scenario dataset with fine-grained decision categories and controlled context variations. Under a unified evaluation protocol, we assess representative existing models and observe substantial performance disparities across decision types and interaction scenarios. CoDeTT provides a standardized benchmark for systematic and context-aware evaluation of turn-taking systems. The benchmark dataset and evaluation toolkit are available at https://yingaowang-casia.github.io/CoDeTT.github.io/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01