アーカイブ / Audio
営業通話の文字と音声を会話の流れに沿って統合し、購買意向を分類するMSMT-FN
MSMT-FN
MSMT-FNの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: MSMT-FN Network Architecture. Step 1: Preprocessing. Each audio recording is broken into segments, and the audio and textual channels are extracted and encoded to obtain embeddings of the two channels. Step 2: Feature Fusion Layer. The textual channel serves as the backbone channel and is independently put through self-attention blocks; while a separate complementary channel is created by fusing the audio channel with the text channel using cross- and self-attention blocks. Step 3: Bottleneck Fusion Layer. A bottleneck fusion mechanism is adopted to more effectively fuse both channels from step 2. Finally, BiGRU is adopted under a multi-task learning framework for all segments within one audio recording to generate classification prediction for different tasks.
概要
- 一往復ごとに分けた営業通話について、文字を中心に音声と前後の会話を統合し、購買意向を分類する。
- MarketCallsの表ではMMMLより三・四・五分類の正解率が高く、二分類では低かった。
- 実務での利用には、対象業務の録音・文字起こし・購買意向ラベルを用いた検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MSMT-FNの仕組み
- 01通話音声と文字起こし
- 02会話区間に分割
- 03文字と音声を統合
- 04区間の文脈を集約
- 05購買意向を分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MSMT-FNは、営業通話の録音から顧客の購買意向を分類する手法である。多数の通話を人が聞いて仕分けるには手間がかかる。顧客の態度は一通話の途中でも変わるため、短い発言だけでは通話全体の意向を捉えにくい。
丁寧な言葉で勧誘を断る場合もあり、好意的な表現をそのまま購買意向とみなせない。発言内容を読み取り、声の調子やためらいと、前後の会話を合わせて扱うことが課題となる。
手法
入力は営業側と顧客側の通話音声、および区間に対応する文字起こしである。一往復を一区間とし、音声をWav2VecとHuBERT、文字をRoBERTaで数値の特徴に変える。例えば顧客が丁寧に断る区間では、発言内容を主に読み、音声を補助情報として参照する設計である。
文字だけを読む経路と、文字から音声を参照する経路を作る。注意機構は入力のどこを重視するかを学ぶ仕組みで、二つの経路は少数の共有情報を介して統合する。その後、双方向GRUで前後の区間を踏まえ、通話の購買意向について二・三・四・五分類の予測を出す。
新規性
著者らの提案は、営業通話を複数の会話区間として扱い、文字を主な経路、音声を補助する経路に置いたうえで、区間間の文脈も分類に使う構成にある。
さらに、特徴を取り出す部分を共有し、購買意向の二・三・四・五分類を同時に学習する。分類の細かさが異なる課題を一つの枠組みで扱う点が、この業務に向けた設計である。
従来手法との違い
比較対象のMMMLも、文字や音声などの情報を注意機構で組み合わせる手法である。MSMT-FNは文字を中心に音声を取り込み、同じ通話に属する区間の前後関係を双方向GRUで扱う。双方向GRUは、区間を前からも後ろからも読んで情報をまとめる仕組みだ。
MarketCallsの表では、MMMLより三・四・五分類の正解率が高く、二分類では低い。この比較から、すべての分類設定で改善したとは言えない。
実験結果
著者らは中国語の営業通話877件からなるMarketCallsを、学習701件、検証88件、テスト88件に分けた。表1の正解率は、二分類でMSMT-FNが76.60%、MMMLが78.09%、三分類で63.83%対58.98%、四分類で61.70%対54.23%、五分類で60.28%対52.12%である。
CMU-MOSI、CMU-MOSEI、MELDでも評価しており、指標によって優劣は異なる。例えばMELDの七分類正解率はMSMT-FNが64.82%、DF-ERCが68.28%だった。これらは各データセットでの比較値であり、別の営業現場での精度を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：営業担当者が確認する通話を仕分ける画面を想定する。入力には対象業務の通話録音と区間に対応する文字起こしが必要で、学習には担当者が基準をそろえて付けた購買意向ラベルを用いる。追加の専用センサーは想定せず、録音された音声を使う。
業務の分類基準に合わせて区間分割とモデルを調整し、通話ごとの予測を録音・文字と並べて担当者に示す。担当者が誤分類を記録し、確認順の決定に役立つかを調べる用途であり、効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の通話録音と対応する文字起こしを集め、担当者が定義をそろえて購買意向ラベルを付ける。音声以外の専用センサーは想定しない。会話の一往復ごとに音声と文字を対応付け、現場で必要な分類数とラベルの境界に合わせてモデルを学習・調整する。
評価用に取り分けた通話で、現在の人手による仕分けを基準として同じ分類基準で比べる。全体の正解率と、見逃した有望顧客・誤って有望とした顧客の件数を確認する。文字起こしの誤りや通話の長さ別にも結果を調べ、担当者の確認に使えるか判断する。
限界と課題
確認できた本文の範囲では、著者らが実運用上の限界として確定した事項は示されていない。編集上の検証事項として、中国語のMarketCallsで得た結果が、別の言語や商材の通話にも当てはまるかを確かめる必要がある。文字起こしの誤りや区間の切り方による影響も確認したい。
本文は五分類にAからEを挙げるが、ラベル分布表にはAからDしかなく、件数の合計は877件である。また、音声を参照する注意機構の説明と数式で、参照先の記号が一致しない。分類定義と実際の入力処理は再現前に照合が必要だ。
出典
元のタイトル・要旨を確認する（英語）
MSMT-FN: Multi-segment Multi-task Fusion Network for Marketing Audio Classification
Audio classification plays an essential role in sentiment analysis and emotion recognition, especially for analyzing customer attitudes in marketing phone calls. Efficiently categorizing customer purchasing propensity from large volumes of audio data remains challenging. In this work, we propose a novel Multi-Segment Multi-Task Fusion Network (MSMT-FN) that is uniquely designed for addressing this business demand. Evaluations conducted on our proprietary MarketCalls dataset, as well as established benchmarks (CMU-MOSI, CMU-MOSEI, and MELD), show MSMT-FN consistently outperforms or matches state-of-the-art methods. Additionally, our newly curated MarketCalls dataset will be available upon request, and the code base is made accessible at GitHub Repository MSMT-FN, to facilitate further research and advancements in audio classification domain.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01