アーカイブ / Audio
音声・唇映像・顔と首の筋電を同期収録した中国語100文の認識データセット
AVE Speech
AVE Speechの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Illustration of multi-modal speech recognition pipeline integrating audio, visual, and electromyographic signals.
概要
- 中国語の定型100文について、100人から音声、唇映像、6チャネルの表面筋電を同期収録した。
- 話者を分けた試験で、音声単独モデルの正解率は雑音なしの99.45%から、信号対雑音比マイナス10 dBでは8.78%となった。
- 著者らは三信号の統合による改善を報告するが、確認できた本文の範囲には改善幅の数値がない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AVE Speechの仕組み
- 01定型文の発話
- 02三信号の同期収録
- 03信号別の特徴抽出
- 04特徴結合と時間処理
- 05100文から分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AVE Speechは、音声に唇の動きと顔・首の筋肉の電気信号を組み合わせ、定型文の発話を識別する研究のためのデータセットである。音声だけの認識は周囲の雑音で難しくなり、唇映像や筋電にもそれぞれ収録条件や個人差による課題がある。
同じ発話から三種類の信号を集めれば、それぞれを単独で使う場合と組み合わせる場合を比べられる。著者らは、日常生活や医療上の要望を表す中国語100文を用い、話者が変わる条件と音声に雑音が入る条件を調べた。
手法
100人の参加者が中国語100文を各10回読み、その音声、唇部分の映像、顔と首の6チャネルの表面筋電を同時に記録した。表面筋電は、皮膚上の電極で筋肉の活動に伴う電気信号を測る方法である。例えば「お腹がすいた」に相当する文の三種類の記録を、その文の正解ラベルに対応付ける。
実験では、映像から唇部分を切り出して大きさをそろえ、筋電から電源由来などの雑音を抑える。次に信号ごとのモデルを学習し、取り出した特徴を結合する。時間に沿った特徴の変化を処理し、入力された発話が100文のどれに当たるかを出力する。
新規性
著者らは、同じ発話の音声、唇の映像、顔と首の筋電を同期収録した、文単位の公開用中国語データセットを初めて構築したと主張する。100人分の話者情報があり、学習に使わなかった人の発話を評価できる。
対象は日常生活や医療上の要望を含む定型100文で、各文は中国語の3～5語からなる。新しい音声認識器の提案というより、三種類の信号を組み合わせて比較するためのデータと実験基盤が主な成果である。
従来手法との違い
認識実験では、音声、唇映像、筋電をそれぞれ単独で使うモデルを基準にした。三信号を使うモデルは、各モデルが取り出した特徴を結合し、発話中の時間変化を処理して文を分類する。雑音が音声に加わる条件でも、映像と筋電を入力に残せる設計である。
既存データセットとの比較表では、LRS2-BBCは音声と映像、EMG-UKAは音声と筋電を含む。AVE Speechは三種類を同じ中国語の発話でそろえ、話者IDも記録する。ただし、収録言語や文の種類が異なるデータセット間の認識性能を直接比較した結果ではない。
実験結果
著者らによると、読み間違いなどを除いた記録は各信号で99,500件、約55.3時間だった。話者が重ならないよう70人を学習、10人を検証、20人を試験に割り当て、試験時には音声へ強さの異なるガウス雑音を加えた。評価指標は文の認識正解率である。
表IIIの試験結果では、音声単独のBi-GRUモデルは雑音なしで99.45%、信号対雑音比がマイナス10 dBで8.78%だった。信号対雑音比は音声に対する雑音の強さを表す。唇映像単独のTransformerモデルは98.55%、筋電単独のBi-GRUモデルは75.53%。著者らは統合による改善を報告するが、確認できた本文の範囲では統合結果の数値表がなく、改善幅は示せない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：介護施設の相談室で、決められた中国語の要望を職員に示す試作を考える。発話時の音声、正面から撮る唇映像、顔と首の表面筋電を同期して入力し、候補の要望文を画面に出す。職員は本人に内容を確認してから対応する。
学習には、対象利用者の発話を三種類のセンサーで同期収録したデータと、発話した文の正解ラベルが必要になる。要望文、話し方、利用者層が研究の条件と違う場合は、現場の条件で追加収録してモデルを調整する。使いやすさと認識精度は実地で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を少数の中国語の要望文に絞り、想定する利用者の音声、正面からの唇映像、顔と首の筋電を同期収録する。各発話に正解の文ラベルを付け、電極位置と撮影条件も記録する。利用者や文が研究条件と異なる分は追加収録し、モデルを調整する。
学習用と試験用で話者を分け、音声だけのモデルを基準として三信号を使うモデルと比べる。文の正解率を雑音条件別に測り、照明変化や電極の装着ずれがある場合も確認する。誤認識した要望の種類と、本人への再確認が必要だった件数を残す。
限界と課題
著者らは、唇映像の認識は照明や似た口形に、表面筋電は人による生理的差や電極位置のずれに影響されると述べる。収録したのは静かな室内で発話する18～40歳の中国語母語話者で、高雑音条件は試験時の音声にガウス雑音を加えて作った。
編集上の検証事項は、高齢者や発話に障害のある人、照明や電極位置が変わる現場でも結果が保たれるかという点である。実験は定められた100文からの分類なので、未登録の言い回しを自由に文字起こしする性能は示していない。確認できた本文の範囲では、三信号統合の数値結果も確認できない。
出典
元のタイトル・要旨を確認する（英語）
AVE Speech: A Comprehensive Multi-Modal Dataset for Speech Recognition Integrating Audio, Visual, and Electromyographic Signals
The global aging population faces considerable challenges, particularly in communication, due to the prevalence of hearing and speech impairments. To address these, we introduce the AVE speech, a comprehensive multi-modal dataset for speech recognition tasks. The dataset includes a 100-sentence Mandarin corpus with audio signals, lip-region video recordings, and six-channel electromyography (EMG) data, collected from 100 participants. Each subject read the entire corpus ten times, with each sentence averaging approximately two seconds in duration, resulting in over 55 hours of multi-modal speech data per modality. Experiments demonstrate that combining these modalities significantly improves recognition performance, particularly in cross-subject and high-noise environments. To our knowledge, this is the first publicly available sentence-level dataset integrating these three modalities for large-scale Mandarin speech recognition. We expect this dataset to drive advancements in both acoustic and non-acoustic speech recognition research, enhancing cross-modal learning and human-machine interaction.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01