アーカイブ / Audio / LLM
直前の会話文から聞きたい声を選び出すContextual Speech Extraction
Contextual Speech Extraction
Contextual Speech Extractionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overall concept of the proposed contextual speech extraction framework: By employing dialogue history as a cue, the model can extract the target speech from a mixture without explicit cues.
概要
- CSEは混合音声と直前の文章履歴から、話題に合う対象音声を取り出す。
- 著者らの二話者SpokenWOZ実験では、文章のみのContExtが対象選択正解率98.3％を記録した。
- 三話者混合では成績が下がるため、導入時は話者数と履歴の長さを分けて測る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Contextual Speech Extractionの仕組み
- 01混合音声と会話履歴
- 02履歴を数値化
- 03音声と文脈を照合
- 04対象の声を抽出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
対象音声抽出は、複数人の声が混ざった録音から、聞きたい一人の声を取り出す処理である。通常はその人の声見本や映像などが必要だが、音声メッセージを受け取るたびに用意できるとは限らない。
一方、文章のやり取りの後に音声が届く場面では、直前の話題がすでに分かっている。著者らはこの履歴を、誰のどの発話を取り出すかを示す間接的な手掛かりとして使えるか調べた。
手法
統合型のContExtは、文章履歴を言語モデルで数値表現に変え、音声分離モデルSepformerの処理に加える。モデルは混合音声の中で文脈に合う成分を推定し、その声だけの波形を出す。例えば直前に旅行日程を話していた会話なら、その続きに当たる発話を音声の混合から選ぶ。
別方式のContSepは声をそれぞれ分けながら対象を選び、段階型は声を分離し、各候補を文字起こししてから言語モデルで選ぶ。H-ContExtは声見本と文章履歴を学習時に組み合わせ、一方の手掛かりを隠す学習も行うことで、利用時に文章のみ、声見本のみ、両方を使えるようにする。
新規性
Contextual Speech Extraction（CSE）は、直前の文章による会話履歴を手掛かりに、混ざった音声から目的の発話を取り出す課題である。著者らは、対象者の声見本や顔の映像を指定しなくても、文脈だけで対象音声を選べるかを検証した。
段階的な三モデル構成に加え、文脈を音声分離器へ直接入れる二つの方式を試した。声見本と文章を併用できるH-ContExtも示し、利用時にどちらか一方、または両方の手掛かりを使える設計にした。
従来手法との違い
従来の対象音声抽出は、事前に録った本人の声、顔映像、マイクとの位置関係など、対象を直接示す手掛かりを使う。CSEは会話の文章履歴を手掛かりにするため、音声メッセージの前に文章のやり取りがある場面を想定しやすい。
論文内では、音声分離・文字起こし・言語モデルの三段階をつなぐ方式と、音声と文脈を同時に処理するContSep、ContExtを比較する。前者は各候補の文字起こし誤りが後段へ伝わる。後者はその段階を省くが、成績はデータセットや話者数で異なる。
実験結果
著者らはDailyTalk、SpokenWOZ、TED-LIUM 3で、音声品質の改善量と対象音声を正しく選んだ割合を測った。二話者のSpokenWOZでは、文章のみを使うContExtの正解率が98.3％、DailyTalkでは83.5％、TED-LIUM 3では76.6％と報告する。
SpokenWOZの履歴長を変えた実験では、直前の二発話だけでも正解率が90％を超えた。一方、TED-LIUM 3の三話者混合ではContExtが62.8％だった。音声分離・文字起こし・選択をつなぐ方式はSpokenWOZで66.2％で、著者らは文字起こし誤りの影響を分析している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：文章と音声メッセージが交互に届く会話で、周囲の声が混じった録音から、直前の話題に沿う発話を聞きやすくする。入力は混合音声と直前の文章履歴で、出力は抽出された一つの音声である。
利用者が候補音声を再生し、取り違えた場合は元の録音へ戻れる流れにする。声見本がある場合は併用も検討する。これは論文の想定用途を踏まえた編集上の運用案であり、実際のメッセージ環境での品質は別途確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：文章履歴と混合音声が対になった少量の会話を集め、正しい対象音声を人が指定する。音声を分離して候補から選ぶ方式を基準に、文章のみを使う方式を同じ録音で比較する。
対象選択の正解率に加え、抽出音声の聞きやすさ、履歴が二発話しかない場合の成績、話者が増えた場合の成績を測る。誤抽出時に元音声へ戻れる操作も確認する。声見本を利用できる場面では、文章との併用による差を別に集計する。
限界と課題
著者らの実験では、文章だけを使う方式の成績がデータセットや話者数で変わる。TED-LIUM 3の三話者混合ではContExtの正解率は62.8％で、二話者のSpokenWOZでの98.3％より低い。また文脈を与えない場合は、対象を選ぶ手掛かりがなく適切に動かないと述べる。
編集上は、話題が途中で変わる会話、履歴の少ない会話、似た内容を複数人が話す場合を調べたい。音声の聞きやすさと、正しい話者を選んだかは別の問題なので、両方を個別に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Contextual Speech Extraction: Leveraging Textual History as an Implicit Cue for Target Speech Extraction
In this paper, we investigate a novel approach for Target Speech Extraction (TSE), which relies solely on textual context to extract the target speech. We refer to this task as Contextual Speech Extraction (CSE). Unlike traditional TSE methods that rely on pre-recorded enrollment utterances, video of the target speaker's face, spatial information, or other explicit cues to identify the target stream, our proposed method requires only a few turns of previous dialogue (or monologue) history. This approach is naturally feasible in mobile messaging environments where voice recordings are typically preceded by textual dialogue that can be leveraged implicitly. We present three CSE models and analyze their performances on three datasets. Through our experiments, we demonstrate that even when the model relies purely on dialogue history, it can achieve over 90 % accuracy in identifying the correct target stream with only two previous dialogue turns. Furthermore, we show that by leveraging both textual context and enrollment utterances as cues during training, we further enhance our model's flexibility and effectiveness, allowing us to use either cue during inference, or combine both for improved performance. Samples and code available on https://miraodasilva.github.io/cse-project-page .
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30