アーカイブ / Audio
中国語の感情と発話意図を同時に認識するFosafer方式
Fosafer System
Fosafer Systemの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Framework of our proposed method.
概要
- 中国語の音声・映像・発話文を使い、感情と発話意図を同時に分類する。
- 少数クラスや判別しにくい例を重視するSWFC損失に、データ拡張とモダリティドロップアウトを組み合わせる。
- 著者らの報告では、テスト集合のJRBMはベースライン0.6680、提案方式0.7019、3モデルの投票後0.7356だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Fosafer Systemの仕組み
- 01中国語の音声・映像・文
- 02入力別の特徴抽出
- 03感情・意図別の変換
- 04特徴の融合と相互作用
- 05感情・意図の予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Fosafer Systemは、中国語の発話から話し手の感情と発話意図を同時に分類する。感情と意図を別々に扱うと、相手の状態と、その発話で何を伝えようとしているかを一緒に捉えにくい。
対象のMEIJU2025中国語トラックでは、意図の種類によって学習例の数が偏る。特に「了承」「励まし」の例が少ないため、録音・顔映像・発話文を使いながら、少数クラスをどう学習するかが課題だった。
手法
音声は中国語版HuBERT、映像はOpenFaceで捉えた顔情報とCLIP、文は中国語版MacBERTで、分類に使う数値情報である「特徴」を取り出す。特徴を感情用と意図用に変換し、音声・映像・文を統合して両者の関係を学び、それぞれの予測を出す。例えば中国語の相談発話なら、対応する録音、顔映像、発話文が入力になる。
学習時には文の言い換え、映像の切り抜き・回転、so-vits-svcを使った音声拡張で例を増やし、背景音楽のある音声例は除く。SWFC損失で少数クラスや判別しにくい例の重みを調整する。モダリティドロップアウトは入力の種類ごとの特徴を確率的にゼロにする処理で、特徴の統合前に行う。音声モデルは分類部分を対象データで調整し、特徴抽出部分は固定する。最終結果は検証集合で選んだ3モデルの投票で決め、票が割れた場合は第1モデルの予測を採る。
新規性
著者らが提案する中心要素は、少数クラスと判別しにくい例を重視するSample-Weighted Focal Contrastive（SWFC）損失である。損失とは、予測の誤りを学習に反映するための計算を指す。
既存のFocal Contrastive Lossに、難しい例へ注目する係数と、例の少ないクラスの重みを加える。著者らはこれを音声モデルの調整や入力の一部を学習中に隠す処理と組み合わせた。
従来手法との違い
比較表のベースラインは、文にMacBERT、映像にCLIP、音声にHuBERTを使う。著者らの方式では、音声モデルの調整に加え、三種類の入力のデータ拡張、SWFC損失、モダリティドロップアウトを用いる。
テスト集合のJRBMはベースラインが0.6680、著者らの方式が0.7019だった。この差は複数の変更を含む方式全体の比較であり、一つの要素だけの効果とは読めない。3モデルの投票後の値も別の結果として扱う。
実験結果
著者らはMEIJU2025 Track 2 Mandarinで評価した。学習集合は8,331例で、元データ7,582例と追加分749例からなる。検証集合は1,083例、テスト集合は2,166例。感情と意図の同時認識を測る指標はJRBMである。
著者らのテスト集合の表では、JRBMはベースライン0.6680、提案方式0.7019。提案方式からデータ拡張を除くと0.6962、SWFC損失を除くと0.6892、モダリティドロップアウトを除くと0.6986、HuBERTの調整を除くと0.6884だった。さらに3モデルの投票で0.7356を得て、同トラックで2位だったと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：録画付きの中国語相談を窓口担当者が見返す画面に、各発話の感情と「了承」「励まし」などの意図の候補を表示する。入力は録音、顔が映る動画、発話文で、出力は二つの分類結果と担当者の確認結果とする。
実施には、対象業務から集めた三種類の入力と、発話ごとの感情・意図ラベルを持つ学習データが必要になる。録音用マイクと撮影用カメラを確認し、業務固有の語彙や撮影条件に合わせてモデルを調整・評価する。有効性は現場データで確かめる仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の中国語の録音、顔映像、発話文を発話単位で対応付け、人手で感情と意図の正解ラベルを付ける。録音にはマイク、顔映像にはカメラが要る。少数の意図も含めて件数を確認し、評価用データを学習用から分ける。
対象データでモデルを調整し、同じ評価集合で既存の単純な分類方式と比べる。JRBMを使うなら計算方法を揃え、少数クラス別の誤り、音声・映像・文のいずれかが欠けた場合の変化を記録する。拡張した例のラベルが元の発話の意味と合うかも人が確認する。
限界と課題
著者らは、調整に使えるデータが限られるため、HuBERTの特徴抽出部分を固定したと述べる。また、「了承」「励まし」に当たる意図の学習例が他の種類より少ないと報告する。確認できた本文の範囲では、各クラスの件数やクラス別成績、JRBMの計算式は示されていない。
編集上の検証事項は、録音や顔映像が欠ける場合、背景音が入る場合、業務の発話が競技データと異なる場合の性能である。投票後の成績を含め、示された数値から別の現場での精度は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Mitigating Category Imbalance: Fosafer System for the Multimodal Emotion and Intent Joint Understanding Challenge
This paper presents Fosafer approach to the Track 2 Mandarin in the Multimodal Emotion and Intent Joint Understandingchallenge, which focuses on achieving joint recognition of emotion and intent in Mandarin, despite the issue of category imbalance. To alleviate this issue, we use a variety of data augmentation techniques across text, video, and audio modalities. Additionally, we introduce the SampleWeighted Focal Contrastive loss, designed to address the challenges of recognizing minority class samples and those that are semantically similar but difficult to distinguish. Moreover, we fine-tune the Hubert model to adapt the emotion and intent joint recognition. To mitigate modal competition, we introduce a modal dropout strategy. For the final predictions, a plurality voting approach is used to determine the results. The experimental results demonstrate the effectiveness of our method, which achieves the second-best performance in the Track 2 Mandarin challenge.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01