新着研究 / LLM
多言語の業務音声認識を、文字の誤りから回答への影響まで測る
CoSE-E
概要
- ５言語対、1,212件の業務向け混合言語音声で、８種類の音声認識モデルを評価した。
- 単語誤り率と、重要情報を問う回答の誤り率では、モデルの順位が変わる場合がある。
- AERは回答への影響を測る代理指標であり、実際の業務完了率は別に検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoSE-Eの仕組み
- 01業務発話文
- 02言語混在文の作成
- 03音声合成と専門家確認
- 04音声認識の評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
業務の音声窓口では、一つの発話の中で言語を切り替え、VPNや給与制度などの英語の用語を別言語の文に入れることがある。これをコードスイッチングという。自動音声認識が重要語を取り違えると、後段の担当者や音声エージェントが依頼の対象を誤解しかねない。
従来の単語誤り率だけでは、表記の揺れと、機器名や識別子の欠落が同じように数えられる。業務に影響する認識誤りを見分けるための評価が必要になる。
手法
著者らは人事・ITサービス管理の元発話を選び、切り替え可能な語がある文から、言語が混じった文章を生成した。数字や記号の読みを整えて音声化し、言語専門家が不自然な切り替えや発音を確認する。こうして作った音声を認識器に入力し、文字起こしを集める。
評価では、正解文から重要な識別子や行為を問う質問を３つ作る。正解文と認識文のそれぞれを基に回答し、回答が食い違う割合をAERとする。たとえば機器のホスト名を誤認して別の名前を答えれば誤りになる。単語単位のWER、意味に着目したSWERも併記し、表面の誤りと回答への影響を比較する。
新規性
CoSE-Eは、人事とITサービス管理の業務発話を対象に、１発話内で言語が切り替わる音声を５言語対でそろえた合成ベンチマークである。すべての記録に切り替えを含め、言語専門家が不自然な表現や発音を確認している。
評価では文字起こしの誤りに加え、重要語が聞き取れなかったとき質問への回答が変わるかを測る。これにより、単語の綴りの違いと業務上重要な情報の欠落を分けて調べられる。
従来手法との違い
従来の比較軸であるWERは、文字起こしした単語の誤り率である。CoSE-Eはこれに、意味を変える誤りを重視するSWERと、文字起こしを使った回答の違いを測るAERを加える。AERは実際のチケット処理完了率ではなく、回答内容への影響をみる代理指標である。
スペイン語・英語ではQwen3-OmniのWERは0.042でScribe-v2の0.022より高いが、AERは0.027でScribe-v2の0.033より低い。指標によってモデルの順序が変わる具体例である。
実験結果
著者らはスペイン語、フランス語、カナダ・フランス語、ドイツ語、中国語と英語の５組、計1,212発話で８モデルを評価した。全発話に言語切り替えを含む。スペイン語・英語ではQwen3-OmniのAERが0.027、Scribe-v2が0.033で、WERの優劣とは逆だった。
単一言語の発話との対比較では、Whisperを除く62条件中39条件で、混合発話のWER増加が統計的に有意だった。著者らの分析では、重要な識別子などの誤りが生じたとき、AERが悪化する割合は約４割で、誤りがない場合の約５％より高かった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：多言語IT窓口の音声受付で、英語の機器名やホスト名を現地語の文に混ぜて話す問い合わせを評価する。入力は利用者の音声と正しい発話内容、出力は各音声認識器の文字起こしと、機器名・依頼内容を質問したときの回答差分である。
運用担当者はWERとAERを並べ、単なる表記差と、受付先や対象機器を誤らせる情報欠落を分けて確認する。実際の振り分け動作が正しいかは、別の業務試験で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：窓口で実際に起こる言語対を一つ選び、重要な機器名、識別子、依頼動詞を含む発話を用意する。候補の音声認識器を同じ音声に適用し、現行器を基準にWER、重要語の正答率、回答差分を比較する。
表記だけが違う例と、対象機器が別物になる例を人手で区別する。次に、認識結果を実際の受付・振り分け工程へ渡し、正しい処理に至った割合を測る。AERだけで採用を決めず、処理結果との関係を確認する。
限界と課題
著者らのAERは、参照文と認識文への質問に対する回答の差を測るもので、実業務でのチケット振り分けや問題解決の成功率を直接測ってはいない。音声は合成されたものであり、自然な職場の騒音や話者の多様性まで結果が及ぶとは断定できない。
編集上の確認事項は、導入先のアクセント、固有名詞、IDの読み上げ方で順位が変わるかである。質問生成と回答判定にも言語モデルを使うため、人手で確認した重要項目との一致も点検したい。
出典
元のタイトル・要旨を確認する（英語）
CoSE-E: A Benchmark for Code-switched Speech Evaluation in Enterprise Settings
Code-switching (CS), a seamless alternation between languages within a single utterance, remains a critical challenge in automatic speech recognition (ASR). While prior works focus on conversational CS-ASR, enterprise settings demand evaluation of operational impact beyond edit-distance errors: how code-switching transcription errors propagate to downstream voice agent task failures. In this work, we propose (1) a CS-ASR synthetic benchmark and multidimensional evaluation framework tailored to enterprise domains, (2) systematic evaluation of frontier ASR systems across 5 language pairs, (3) diagnostic analysis of the additional transcription errors that code-switching introduces across language pairs and models. We release COSE-E to support enterprise-focused CSASR evaluation for multilingual voice agents in enterprise deployment.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29