アーカイブ / Audio
中国語・英語の混合音声にWhisperを適応させるソフトプロンプト調整
SPT4ASR
SPT4ASRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of (a) Prompt Engineering, (b) FFT, and (c) SPT. The fire and ice emojis in the figure represent trainable and frozen parameters, respectively.
概要
- Whisper本体を固定してソフトプロンプトを学習する複数方式を、中国語・英語の混合音声認識で比較した。
- Whisper SmallのSEAME devmanでは、SPT4ASRのMERは15.48％で、基本形の21.95％より低かった。
- 同じ条件でLoRAのMERは13.96％、学習対象は185万パラメータで、SPT4ASRの15.48％、374万を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SPT4ASRの仕組み
- 01中英混合の音声
- 02音響特徴とプロンプト
- 03Whisperで符号化・復号
- 04文字起こし
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SPT4ASRは、中国語と英語が発話中に切り替わる録音をWhisperで文字にするための調整方法である。このような言語の切り替えをコードスイッチングと呼び、混在した発話を扱う音声認識では両言語の誤りを確かめる必要がある。
Whisper全体を新しい音声で学習し直すと、更新する重みが多い。著者らは学習対象を絞りながら混合音声の認識を改善し、既存の単一言語での性能も保てるかを調べた。
手法
学習には音声と正解書き起こしの対を使う。ソフトプロンプトは、認識を導くために学習する数値列で、基本形では音声を処理する側の特徴列や、文字を出す側の入力列につなぐ。調整後は、混合音声から文字起こしを出す。例えば中国語の発話中に英語が入る録音を、この数値列とともにWhisperで処理する。
著者らは、モデル内部の複数層にも数値列を入れる深層プロンプト調整、変換した数値列に元の数値列を足す方式、言語IDに対応する埋め込みを使う方式を検討し、SPT4ASRで組み合わせた。埋め込みとは、言語などの情報をモデルが扱える数値列にしたものを指す。これらではWhisper本体を固定し、別条件としてプロンプトと本体を同時に更新する方法も試した。
新規性
著者らは、中国語・英語の混合音声認識に向け、Whisperのソフトプロンプトを入れる位置や加工方法を比較した。複数の方式を組み合わせたSPT4ASRも評価している。
さらに、プロンプトだけを学習する条件と、プロンプトとWhisper本体をともに更新する条件を調べた。混合音声での誤りに加え、適応前から認識できた単一言語での性能も確認している。
従来手法との違い
全量微調整はWhisper本体の重みを更新する。LoRAは元の重みを固定し、追加した小さな行列を学習する。SPT4ASRも本体を固定し、複数方式のソフトプロンプトを学習する。
Whisper SmallのSEAME devmanでは、著者らが報告したMERは全量微調整13.37％、LoRA 13.96％、SPT4ASR 15.48％だった。学習対象は順に2億4058万、185万、374万パラメータで、この条件ではLoRAがSPT4ASRを誤り率と学習対象数の両方で上回った。
実験結果
著者らはWhisper SmallとMediumを、SEAMEとASRU2019の中国語・英語混合音声で10エポック学習した。MERは中国語の文字単位と英語の単語単位で数える混合誤り率で、低いほど誤りが少ない。
Whisper SmallのSEAME devman／devsgeでは、基本形のMERが21.95％／27.39％、深層プロンプト調整が16.57％／23.99％、SPT4ASRが15.48％／21.98％だった。ASRU2019 testでのSPT4ASRは13.12％。著者らはWhisper Mediumの単一言語評価でも、SPT4ASRの結果が未調整版に近いと報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：中国語と英語が混ざる顧客対応の録音を、社内検索に使う文字起こしへ変える。入力は業務で使うマイクによる録音、出力は発話順のテキストとし、担当者が固有名詞や言語の切り替わりを確認して保存する。
適応には、導入先と同じ収録条件の音声と、人手で確認した正解書き起こしの対が必要になる。SPT4ASRをその対で学習させる案だが、顧客対応での精度改善は論文の評価結果からは確定できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務のマイク録音から、中国語と英語が混ざる音声と、人手で確認した正解書き起こしを集める。話者と収録条件を確認して学習用と評価用に分け、同じ評価音声で未調整のWhisper、LoRA、SPT4ASRを比べる。
中国語は文字、英語は単語を単位としてMERを計算し、言語の切り替わり付近の誤記も点検する。単一言語の録音と正解書き起こしも用意して適応前後の誤り率を測り、学習対象パラメータ数と担当者の修正量を併記して判断する。
限界と課題
著者らは、入力だけに置くプロンプトには、長くすると計算負荷が増すことと、出力に近い層へ直接働きかけにくいことを課題として挙げる。実験ではデコーダーに長さ256のプロンプトを入れられず、SPT4ASRはLoRAより誤り率が高く、学習対象も多かった。
編集上の検証事項は、導入先で話者、録音機器、言語の混ざり方が変わった場合の誤り率である。単一言語の性能維持も、確認できた本文の範囲では指定された評価データでの結果であり、現場の録音で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Adapting Whisper for Parameter-efficient Code-Switching Speech Recognition via Soft Prompt Tuning
Large-scale multilingual ASR models like Whisper excel in high-resource settings but face challenges in low-resource scenarios, such as rare languages and code-switching (CS), due to computational costs and catastrophic forgetting. We explore Soft Prompt Tuning (SPT), a parameter-efficient method to enhance CS ASR while preserving prior knowledge. We evaluate two strategies: (1) full fine-tuning (FFT) of both soft prompts and the entire Whisper model, demonstrating improved cross-lingual capabilities compared to traditional methods, and (2) adhering to SPT's original design by freezing model parameters and only training soft prompts. Additionally, we introduce SPT4ASR, a combination of different SPT variants. Experiments on the SEAME and ASRU2019 datasets show that deep prompt tuning is the most effective SPT approach, and our SPT4ASR methods achieve further error reductions in CS ASR, maintaining parameter efficiency similar to LoRA, without degrading performance on existing languages.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01