アーカイブ / Audio
日英の対面3人対話を音声・映像で記録するTEIDAN：発話交替を調べる際の条件
TEIDAN
TEIDANの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Recording setup used for TEIDAN.
概要
- TEIDANは、日英の対面3人対話を参加者別音声、共有音声、顔映像、時刻・話者付き書き起こしで記録する。
- 著者らは計69セッションを収録し、予備分析で疑似ターンの平均長を日本語2.95秒、英語4.65秒と報告した。
- 日英では参加者同士の関係や募集方法も異なるため、集計差を言語だけの効果とは解釈できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TEIDANの仕組み
- 013人の自由討論
- 02個別音声と映像を収録
- 03発話区間を書き起こし
- 04時刻・話者付き記録
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TEIDANは、3人が対面で意見を交わす様子を日英で調べるための会話コーパスである。コーパスとは、分析できる形に整理した記録を指す。複数人の会話では、短い応答や特定の相手への問い掛けが発話の交替に関わる。
会話に加わるエージェントが発言の順番や宛先を扱うには、言葉だけでなく、誰がいつ話し、参加者がどう反応したかを追える資料が役立つ。TEIDANは、課題の正解を求めない自由な討論を収める。
手法
3人が丸い机を囲み、提示された話題について意見を交わす。各人のピンマイク、共有音声を録るマイクアレイ、顔を写すカメラで記録する。例えば「無人島に一つ持って行く物」を話し合う場面では、誰の発言かを時刻付きの記録からたどり、対応する音声や映像を調べられる。
書き起こしの単位はIPUと呼び、原則として200ミリ秒以上の無音で区切られる発話区間を指す。各区間に開始・終了時刻と話者A・B・Cを付け、相づちや言いよどみなども規則に沿って示す。語中に長い無音があっても語を分割せず、その位置をタグで記す。日本語は通常表記とカタカナの発音表記、英語は通常表記を収める。
新規性
TEIDANの本論文での新規性は、日本語と英語の自然な対面3人対話を、共通の収録・書き起こし形式を持つ一つのコーパスとして記述した点にある。英語部分を新たに加え、両言語で対応する話題も設けた。
日本語部分の一部は、以前から発話の宛先判定などの課題別評価に使われていた。著者らは本論文で、参加者、収録方法、書き起こし形式、全体の統計をコーパス資料として整理した。
従来手法との違い
著者らが挙げる既存資料には、会議、課題を解く会話、文字での交流、演技による場面が多い。TEIDANは、3人が正解を決めない話題について対面で意見を交わす様子を、音声と顔映像とともに記録する。
日英には対応する話題があるが、参加者の条件は同じではない。日本語側は同じ研究室の知人、英語側は収録時に初めて会った人たちである。集計値の差を言語だけによる差とは解釈できない。
実験結果
著者らの集計では、日本語は12組・36セッション、英語は11組・33セッションである。発話区間であるIPUは日本語12,384件、英語17,370件。これは資料の規模であり、対話モデルの精度を示す数値ではない。
予備分析では相づちと笑い・咳などのIPUを除き、同じ話者の連続するIPUを「疑似ターン」という一続きの発話にまとめた。著者らが報告した疑似ターンの平均長は日本語2.95秒、英語4.65秒。参加者の関係なども異なるため、著者らはこの差を収録資料内の記述的な比較として扱い、集団全体への推論はしていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：3人の会議に同席する音声エージェントが、次に誰が話しそうかを示す研究用の予測器を試す。入力は参加者別の音声、共有マイクの音声、顔映像とし、出力は次の話者の候補とする。実際の応答判断には人の確認を置く。
学習には、TEIDANの時刻・話者付き発話記録から、次話者を定める規則に沿って作るラベルが要る。対象の会議も同種のセンサーで記録し、発話が重なる場面を含めてラベルを付ける。会議の話題や参加者関係に合わせた調整が必要か検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象と同じ条件の3人会議を少量記録し、参加者別音声、共有音声、顔映像、時刻・話者付き書き起こしをそろえる。次話者を定める規則を先に決め、TEIDANと対象会議の両方でラベルを作る。発話が重なる区間は人手で確認する。
比較基準には、直前までの発話順だけを使う簡単な予測を置く。音声・映像を使う予測と同じ会議単位で次話者の正答率を測り、相づちや重なりのある場面を分けて誤りを確認する。対象会議のラベル付き記録で調整した場合も測り直す。
限界と課題
著者らは、日英で参加者の関係と募集方法が異なるため、観察した差から言語や文化の因果効果を特定できないと述べる。疑似ターンの集計も記述的な比較であり、集団全体への統計的推論は行っていない。
編集上の検証事項として、対象の会議で同じ発話区切り規則が使えるか、短い相づちや発話の重なりをどう扱うかを定める必要がある。顔映像を使う場合は、参加者ごとの再配布に関する同意条件を確認する。次話者予測の実運用性能は本論文の集計からは分からない。
出典
元のタイトル・要旨を確認する（英語）
TEIDAN: A Multilingual Multiparty Dialogue Corpus
Multi-party interaction is a central setting for human communication and a necessary target for human-agent interaction systems that must participate in group conversation. Yet available corpora often focus on meetings, task-oriented interaction, text-based interaction, or acted scenarios, and fewer resources support cross-linguistic comparison of spontaneous face-to-face triadic discussion. This paper presents TEIDAN, a multilingual multimodal corpus that currently consists of Japanese and English three-party conversations. TEIDAN records groups of three participants discussing open-ended topics with individual pin microphones, a microphone array, and participant-facing cameras, and provides IPU-based transcripts for both language portions. Earlier studies used subsets of the Japanese portion for task-specific benchmarks in multi-party dialogue modeling; in contrast, this paper presents TEIDAN as a corpus resource spanning both Japanese and English, with planned expansion to additional languages. We describe the collection design, participants, recording setup, transcription format, and corpus statistics, and provide preliminary analyses to illustrate how TEIDAN can support research on turn-taking, addressee recognition, and multimodal grounding in human-human and human-agent interaction.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01