アーカイブ / LLM / Audio
最初の発話と音声認識候補を使い、続く発話が音声アシスタント宛てか判定する
Device-Directed Speech Detection for Follow-up Conversations Using Large Language Models
Device-Directed Speech Detection for Follow-up Conversations Using Large Language Modelsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Follow-up conversations: the pair of user queries are first processed by an ASR system, which outputs the text transcriptions of the user’s speech. The joint ASR transcription of the initial and follow-up queries are input to the LLM that detects if the latter is directed to the Virtual Assistant (VA).
概要
- 最初の発話の認識結果と、続く発話の複数の音声認識候補を組み合わせて宛先を判定する。
- 著者らの英語データでは、FRRを10％に固定したとき、初回発話を加えることで全体学習型分類器のFARが8.3％から4.8％になった。
- 実用化の検証には、対象環境の発話ペアと宛先ラベルを用意し、同じ見逃し率で誤反応を比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Device-Directed Speech Detection for Follow-up Conversations Using Large Language Modelsの仕組み
- 01発話ペアの音声
- 02初回1候補・続発8候補
- 03言語モデルで判定
- 04端末宛ての確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声アシスタントでは、最初に起動語を言えば、その後は起動語なしで質問を続けられる。そこで、続く発話が端末宛てか人間宛てかを見分ける「端末向け発話検出」が必要になる。
同じ場所では、利用者同士の会話や周囲の声も生じる。端末が人間宛ての発話に反応すれば会話を妨げ、端末宛ての依頼を見逃せば操作が止まる。短い続発話は、それだけを見ても意図を判断しにくい。
手法
音声認識器で最初の発話を第一候補の文字列に変え、続く発話は第一候補または複数の候補に変える。複数候補には、認識器が各候補に付けたコストも添える。コストは認識上の確からしさに関わる値で、著者らの設定では低いほど確信が高い。例えば「音楽をかけて」と、続く「少し上げて」の認識結果を対にする。
この対を大規模言語モデルに渡し、指示文への回答から端末宛てかを読み取る。別の方法では、モデルに二択の分類器を付け、端末宛ての確率を出す。著者らは分類器について、モデル全体を学習する設定と、LoRAという少数の追加パラメータを学習する設定を試した。
新規性
続く発話の判定に、起動語を伴う最初の発話の文脈と、音声認識で得た複数候補を組み合わせた。最初の発話には認識結果の第一候補だけを使い、判定が難しい続く発話に複数候補を使う設計である。
著者らは、言語モデルの回答文から二択を読み取る方法に加え、二択の分類器を付ける方法を検討した。分類器は確率を出すため、見逃しの許容率に合わせて判定基準を調整できる。
従来手法との違い
比較の軸は、続く発話だけを使うか最初の発話も加えるか、続く発話の認識結果を第一候補だけにするか8候補にするかである。著者らは、学習なしの指示文、追加学習した指示文、分類器を付けた方法を同じ課題で評価した。
学習なしの指示文では、入力を増やしても安定した改善は得られていない。一方、分類器を付けた方法では、続く発話の8候補に最初の発話を加えると、見逃し率を10％に固定した条件で誤受理率が下がった。
実験結果
著者らは、同意を得た英語母語話者約1,300人の録音約1万9,000件から、発話ペア約24万5,000件を作った。端末宛てかを人手で付け、話者が重ならない学習・検証・テスト用に70・10・20％で分けた。
分類器では、端末宛ての発話を見逃す割合であるFRRを10％に固定し、人間宛てを誤って受け付ける割合であるFARを測った。続発話の8候補だけの場合と最初の発話も加えた場合を比べると、著者らの表でFARはモデル全体を学習した分類器が8.3％から4.8％、LoRAを使う分類器が8.7％から6.1％になった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の音声操作で「今日の予定を読んで」に続く「午後の分だけ」が端末宛てか、同席者宛てかを判定する。入力はマイクで収録した発話ペアを音声認識した文字列と、続く発話の複数候補・コストである。出力する端末宛ての確率を基に、応答するか決める。
適用には、対象環境の発話ペア、各続発話が端末宛てかを示す人手ラベル、マイク音声を文字にする認識器が要る。日本語や社内固有の言い回しに合わせる際は、そのデータで認識結果と分類器を検証し、必要な調整を行う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象環境のマイクで、起動語を伴う初回発話と続発話を対で集める。既存の音声認識器から、初回の第一候補と続発話の複数候補・コストを残す。続発話の宛先を人手でラベル付けし、話者が重ならないよう学習用と評価用に分ける。
基準は、続発話だけで判定する分類器とする。同じ評価データで初回発話を加え、事前に決めたFRRでのFAR、誤反応例、見逃し例を比べる。対象言語や言い回しで認識が崩れる場合は、その音声データを使った認識器と分類器の調整を検討する。
限界と課題
著者らは、8件を超えて認識候補を増やすと改善が小さくなったと報告する。また、今回の入力は利用者の発話ペアであり、アシスタントの返答、音響的特徴、話者情報は今後組み込める信号として挙げている。
編集上の検証事項は、英語話者による共同作業を模した会話での結果が、日本語や別の会話場面でも成り立つかである。候補を増やしたときの処理時間、周囲の会話への誤反応、音声や認識結果の保存範囲も、導入先で確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Device-Directed Speech Detection for Follow-up Conversations Using Large Language Models
Follow-up conversations with virtual assistants (VAs) enable a user to seamlessly interact with a VA without the need to repeatedly invoke it using a keyword (after the first query). Therefore, accurate Device-directed Speech Detection (DDSD) from the follow-up queries is critical for enabling naturalistic user experience. To this end, we explore the notion of Large Language Models (LLMs) and model the first query when making inference about the follow-ups (based on the ASR-decoded text), via prompting of a pretrained LLM, or by adapting a binary classifier on top of the LLM. In doing so, we also exploit the ASR uncertainty when designing the LLM prompts. We show on the real-world dataset of follow-up conversations that this approach yields large gains (20-40% reduction in false alarms at 10% fixed false rejects) due to the joint modeling of the previous speech context and ASR uncertainty, compared to when follow-ups are modeled alone.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01