アーカイブ / Audio
Whisperの文字起こしで、認識誤りを抑えながら記憶領域を減らす方法
Whisper-MLA
Whisper-MLAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Three attention architectures: (a) Original MHA in Whisper (left), (b) Full low-rank compression MLA (middle), (c) Dimension-preserving MLA (right).
概要
- Whisper-MLAは、Whisperのデコーダー自己注意にMLAを適用し、推論中のKVキャッシュを圧縮する。
- LibriSpeechの四つの評価分割における平均WERは、微調整済みWhisperの10.95%に対し、一部次元を残す提案設定が11.12%。その設定のKVキャッシュ削減率は81.25%だった。
- 87.50%の削減は全次元圧縮という別設定の値で、平均WERは13.29%。削減率と認識誤りは同じ設定同士で比べる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Whisper-MLAの仕組み
- 01入力音声
- 02音声特徴の抽出
- 03圧縮情報で逐次復号
- 04書き起こし
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Whisper-MLAは、Whisperによる音声の文字起こしで、推論中に保存する情報を減らす方法である。Whisperの多頭注意は、過去の文脈を参照するために鍵と値を保持する。この保存領域をKVキャッシュと呼ぶ。
文字を順に出すデコーダーでは、生成が進むほどキャッシュが増える。長い音声や複数件の処理ではGPUメモリ使用量に関わるため、著者らは事前学習済みWhisperを利用しながら保存量を抑えることを狙った。
手法
Whisper-MLAは、エンコーダーが入力音声から得た特徴を使い、デコーダーが文字列を順に生成する。採用した構成では、デコーダーの自己注意だけにMLA（多頭潜在注意）を適用する。自己注意は生成済みの文字を参照する仕組みで、MLAはその参照に使う鍵と値を小さな共通表現に圧縮して保存する。
変換では、事前学習済みWhisperの問い合わせ用の重みを維持し、鍵768次元のうち48次元を残す。残りの鍵と値の重みを特異値分解という行列の近似手法で共同圧縮し、96次元の表現を作って微調整する。例えば録音音声を入力すると、変換済みモデルは圧縮した過去の情報を参照しながら書き起こしを出す。
新規性
Whisper-MLAは、絶対位置埋め込みを使うWhisper向けに多頭潜在注意を設計し、事前学習済みモデルの重みを利用して変換する。鍵の一部を残し、残りの鍵と値を共通の小さな表現に圧縮する。
著者らは変換箇所も比較し、デコーダーの自己注意だけを変える構成を採用した。学習済みの音声処理部分を残し、変換後に微調整する設計である。
従来手法との違い
比較対象は元のWhisper-smallと、同じLibriSpeechで微調整したWhisper-smallである。元の方式では、文字を順に出す際に過去の鍵と値を保存する。提案方式は、デコーダーの自己注意で保存する情報を圧縮する。
著者らは、全注意機構を変換する構成と、デコーダーの自己注意だけを変換する構成も比べた。表の条件では後者の単語誤り率が低く、音声を処理するエンコーダーと交差注意を元のまま残せる。
実験結果
著者らは244百万パラメータのWhisper-smallを変換し、LibriSpeechの960時間分で3エポック微調整した。dev-clean、dev-other、test-clean、test-otherで測った平均WER（単語誤り率）は、微調整済みWhisperが10.95%、自己注意のみを変換して鍵の次元を均等に残す設定が11.12%だった。低いほど誤りが少ない。
後者のKVキャッシュ削減率は81.25%。自己注意のみを全次元圧縮した別設定は87.50%削減、平均WER13.29%だった。著者らは推論時、バッチ16・系列長4096でGPUメモリ使用量が約半分、バッチ64・系列長2048では元のWhisperが24GBを超え、提案方式が15.4GBだったと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内会議の録音を文字起こしする処理に使う。収録用マイクの音声を入力し、書き起こしを出力する。担当者が内容を確認してから議事録作成に回す運用を想定する。
適応には、対象会議の録音と、正解として使える書き起こしが必要になる。話者の重なりや社内用語を含む音声を用意し、変換後のモデルを微調整する。会議音声で精度や速度が改善するという結果は、この論文には示されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の収録用マイクで得た音声と、照合用の正解書き起こしを集める。録音条件と話者を記録し、まず元のWhisper-smallで同一音声のWER、処理時間、GPUメモリ使用量を測る。
次に、事前学習済みモデルのデコーダー自己注意をMLAへ変換し、用意したラベル付き音声で微調整する。同じ入力条件で三つの指標を再測定し、許容できる誤り率か、キャッシュ削減がメモリ総量にも表れるかを確認する。
限界と課題
確認できた本文の範囲では、著者が明示した限界は見当たらない。報告値には設定ごとの差がある。KVキャッシュを87.50%削減した全次元圧縮と、平均単語誤り率11.12%を得た一部次元保持は別設定で、両方を一つの結果として扱えない。
編集上の検証事項：評価はLibriSpeechを用いており、会議の重なり発話、雑音、専門語でも同じ傾向になるかは未確認である。現場では、キャッシュの削減がGPUメモリ総量や処理時間にどう反映されるかも測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Whisper-MLA: Reducing GPU Memory Consumption of ASR Models based on MHA2MLA Conversion
The Transformer-based Whisper model has achieved state-of-the-art performance in Automatic Speech Recognition (ASR). However, its Multi-Head Attention (MHA) mechanism results in significant GPU memory consumption due to the linearly growing Key-Value (KV) cache usage, which is problematic for many applications especially with long-form audio. To address this, we introduce Whisper-MLA, a novel architecture that incorporates Multi-Head Latent Attention (MLA) into the Whisper model. Specifically, we adapt MLA for Whisper's absolute positional embeddings and systematically investigate its application across encoder self-attention, decoder self-attention, and cross-attention modules. Empirical results indicate that applying MLA exclusively to decoder self-attention yields the desired balance between performance and memory efficiency. Our proposed approach allows conversion of a pretrained Whisper model to Whisper-MLA with minimal fine-tuning. Extensive experiments on the LibriSpeech benchmark validate the effectiveness of this conversion, demonstrating that Whisper-MLA reduces the KV cache size by up to 87.5% while maintaining competitive accuracy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01