アーカイブ / Audio
音声全体を前後から捉え、文字を順に生成するMamba音声認識
MADEON-2SP
MADEON-2SPの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of MADEON for ASR task. The blue and red circles show the speech and text tokens obtained through subword modeling, respectively. The black circles are special tokens, and the gray dotted lines indicate the autoregressive text generation.
概要
- MADEON-2SPは音声トークンを双方向に処理し、書き起こしの文字を順に生成する単一デコーダー方式。
- 著者らのLibriSpeech 960時間版test-otherではWERが4.7％で、比較したTransformer方式は4.8％。
- 小規模データでの過学習傾向と、音声・文字間の明示的な位置合わせがない点を著者らは報告している。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MADEON-2SPの仕組み
- 01音声波形
- 02特徴の離散化
- 03音声の双方向処理
- 04文字の逐次予測
- 05書き起こし
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MADEONは、音声から作った記号列を読み、書き起こしの文字列を生成する音声認識法である。長い音声列では、列内の位置同士を参照するTransformerの注意機構は計算量が増えやすい。処理時間やメモリ量は導入時の確認項目となる。
従来のMamba音声認識には、音声を読む部分と文字を生成する部分を分ける方式があった。著者らは一つのデコーダーで両方を扱い、音声の前後の文脈を書き起こしに生かせるかを調べた。
手法
入力音声から特徴を取り出し、似た特徴を同じ番号にまとめる。続いて連続する同じ番号を除き、頻出する並びを部分列としてまとめ、「離散音声トークン」を作る。例えば一つの発言をこの記号列に変換し、その内容に対応する文字トークンを順に予測する。
デコーダーには、入力に応じて内部状態の更新を変えるMambaを使う。speech prefixingでは音声トークンの順序を反転する処理を挟み、音声部分を前後両方向から捉える。一方、書き起こしは既に生成した文字に続けて出す。MADEON-2SPでは状態を扱う部分にMamba-2を用いる。
新規性
MADEONは、Mambaを一つのデコーダーに使い、音声トークンを条件として書き起こしを生成する。提案するspeech prefixingは音声部分だけを双方向に処理し、文字の逐次生成を保つ。
MADEON-2SPは、より大きな内部状態を効率よく扱えるMamba-2と、この音声処理を組み合わせた構成である。音声トークンの順序を反転する仕組みにより、後続の音声も文字生成に使う内部状態へ反映させる。
従来手法との違い
比較対象のS4は、入力によらず状態の更新方法が固定された状態空間モデルである。状態空間モデルとは、列を読みながら内部状態を更新する仕組みを指す。Mambaは更新に使う値を入力に応じて変える。
既存のMamba音声認識には、音声側と文字側を分け、両者を結ぶクロスアテンションを使う構成がある。MADEONは単一デコーダーで処理する。著者らはTransformerの単一デコーダーとも比較しており、結果はデータセットと評価条件によって異なる。
実験結果
著者らはLibriSpeech、TEDLIUM3、GigaSpeech、AISHELL、CSJで評価した。英語は単語誤り率（WER）、中国語と日本語は文字誤り率（CER）を使い、いずれも低いほど誤りが少ない。表に示す結果は外部の言語モデルを使わない条件である。
LibriSpeech 100時間版のtest-otherでは、WERはS4の40.1％、一方向のMambaの8.3％、MADEON-2SPの7.3％だった。960時間版のtest-otherではMADEON-2SPが4.7％、比較したTransformerが4.8％で、GigaSpeechのtestでは両者とも11.1％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内会議の日本語音声を文字に起こし、担当者が議事録用に確認する。入力はマイクで収録した発言、出力は書き起こし文とし、担当者が固有名詞や欠落を直して保存する。会議での有効性は未検証である。
対象会議の録音と、人手で確定した書き起こしを学習用・評価用に集める。必要なセンサーは収録用マイクで、正解ラベルは発言に対応する文字列とする。日本語の音声特徴抽出、離散化、文字分割を会議データに合わせて設定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：マイクで収録した対象会議の音声と、人手で確定した書き起こしを対にして集め、会議単位で学習用と評価用に分ける。正解ラベルは発言の文字列とし、日本語の特徴抽出、離散化、文字分割を対象データに合わせて設定する。
同じ学習・評価データでMADEON-2SPとTransformer方式を比較する。文字誤り率に加え、長い発言の後半と固有名詞の誤り、担当者の修正時間を記録する。録音条件や発言内容をそろえて差を確認し、議事録作成の作業量に結び付くか判断する。
限界と課題
著者らは、小規模な英語データでMambaに過学習の傾向があり、MADEON系の結果が比較したTransformerをやや下回ったと報告する。また、音声と文字の対応位置を明示的には扱わない点を、今後の改善余地として挙げる。
編集上の検証事項は、会議特有の略語、重なった発話、長い発言の後半での誤りである。論文中の数値は指定されたデータと条件での結果であり、社内の録音環境や用語に移したときの精度は確認が必要となる。
出典
元のタイトル・要旨を確認する（英語）
Mamba-based Decoder-Only Approach with Bidirectional Speech Modeling for Speech Recognition
Selective state space models (SSMs) represented by Mamba have demonstrated their computational efficiency and promising outcomes in various tasks, including automatic speech recognition (ASR). Mamba has been applied to ASR task with the attention-based encoder-decoder framework, where the cross-attention mechanism between encoder and decoder remains. This paper explores the capability of Mamba as the decoder-only architecture in ASR task. Our MAmba-based DEcoder-ONly approach (MADEON) consists of a single decoder that takes speech tokens as a condition and predicts text tokens in an autoregressive manner. To enhance MADEON, we further propose speech prefixing that performs bidirectional processing on speech tokens, which enriches the contextual information in the hidden states. Our experiments show that MADEON significantly outperforms a non-selective SSM. The combination of speech prefixing and the recently proposed Mamba-2 yields comparable performance to Transformer-based models on large datasets.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01