アーカイブ / Audio / LLM
音声を区切って順次書き起こすSpeechLLM-XL：長時間入力での精度と計算量
SpeechLLM-XL
概要
- 固定長の音声区間ごとに文字を生成し、過去を参照する範囲を制限して長時間入力の計算量を抑える設計。
- 著者らのLibriSpeech評価では、1.28秒区間のWERはtest-cleanで2.7％、test-otherで6.7％。
- 10倍長の試験音声は同じ発話の反復連結であり、自然な長時間会話への適用には別の評価が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SpeechLLM-XLの仕組み
- 01入力音声
- 02固定長に分割
- 03区間の音声を符号化
- 04区間の文字を生成
- 05書き起こし
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SpeechLLM-XLは、届いた音声を区切りながら順に書き起こす音声認識手法である。従来のSpeechLLMは発話全体を受け取ってから文字を生成するため、長い発話では表示開始が遅くなる。著者らは、学習時より長い入力で書き起こしを途中終了する問題も指摘した。
また、過去の入力を広く参照するほど計算負担が増える。会議の字幕のように音声が続く用途を考えると、誤認識の割合に加え、表示の遅れと長時間処理時の計算量を確かめる必要がある。
手法
音声エンコーダーが各区間を数値列に変え、LLMデコーダーがその区間に対応する文字を一つずつ生成する。LLMは文章を扱う大規模言語モデルで、EOSは一つの区間の文字生成が終わったことを示す記号である。EOSが出ると次の音声区間へ進む。例えば長く続く発言も、区間ごとの文字列として順次取り出す。
デコーダーは現在の区間に加え、設定した範囲の過去の音声と文字を参照する。学習には音声と正解文の対、および文字を区間へ割り当てる対応時刻が要る。正解時刻がなければ、CTC強制アラインメントという、正解文の各文字が音声のどこで終わるかを推定する処理を使う。
新規性
SpeechLLM-XLは、音声区間ごとに文字を生成し、区間の終わりを示すEOSを予測すると次へ進む。さらに、デコーダーが参照する過去の区間数を制限することで、長い音声に対する推論の計算量を音声長に比例させる設計を提案した。
学習時には、音声と文字の対応時刻がない場合も扱う。音声エンコーダーの出力と正解文からCTC強制アラインメントで文字の終了時刻を推定し、正解文を音声区間に割り当てる。
従来手法との違い
比較対象のSpeechLLMは、発話全体の音声を受け取ってから全文を生成する。著者らは、学習時より長い発話で途中終了しやすいことと、全履歴を参照する注意機構の計算負担を課題に挙げる。注意機構は、文字を生成するときに入力や過去の文字を参照する処理である。
SpeechLLM-XLは区間ごとに出力し、参照する過去の範囲を絞る。LibriSpeechのtest-cleanではSpeechLLMよりWERが低く、test-otherでは高かった。比較した両モデルは音声エンコーダーも異なるため、この差を区間処理だけの効果とは断定できない。
実験結果
著者らは英語の朗読音声からなるLibriSpeechの960時間の学習データを使い、語の置換・削除・挿入を数える語誤り率（WER）で評価した。1.28秒区間、デコーダーの参照範囲5.12秒のSpeechLLM-XLは、test-cleanで2.7％、test-otherで6.7％だった。同表の非ストリーミングSpeechLLMは3.4％、5.5％である。
同じSpeechLLM-XLでテスト発話を10回繰り返して連結すると、WERはcleanが2.7％、otherが6.5％で、通常の発話では2.7％、6.7％だったと著者らは報告した。区間を0.32秒に短縮した設定ではtest-cleanが3.1％、test-otherが7.8％となった。長音声の数値は自然な会話を測ったものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の社内会議を録音し、発言中に確認用の書き起こしを順次表示する。入力は会議音声、出力は時系列の文字列とし、担当者が表示後に固有名詞や聞き間違いを修正する。会議音声での性能は論文の評価対象外である。
適応を試すには、対象会議の音声と人手で確認した正解文の対が必要になる。学習時に文字を区間へ割り当てる対応時刻は、正解時刻またはCTCによる推定で用意する。専用センサーは前提とせず、使用する録音機器と収音条件を記録する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象会議の録音と、人手で確認した正解の書き起こしを集める。用語を含む発言と長く続く発言を評価用に分け、話者数、録音機器、収音条件を記録する。適応学習を試す場合は音声と正解文の対を用意し、区間への文字の割り当てには正解時刻またはCTCによる推定を使う。
同じ会議音声を既存の非ストリーミング認識でも処理し、WER、発言から文字表示までの時間、音声長に対する処理時間を比較する。区間長と過去の参照範囲を変え、固有名詞の誤りや途中終了も記録する。会議で使えるかは、この実測値を基に判断する。
限界と課題
著者らの実験では、音声区間を短くすると出力を始めるまでの待ち時間を抑えられる一方、WERは上がった。過去の区間をまったく参照しない設定も精度が下がった。CTCで推定した対応時刻による学習は、比較対象の対応時刻を使う学習より一部のWERがわずかに高い。
編集上の検証事項は、英語の朗読音声での結果が複数話者の会議や専門用語にも当てはまるかである。長音声の試験には同じ発話を繰り返して連結した音声を使っている。自然な長時間会話での認識率、文字表示までの時間、録音条件の影響は別に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Efficient Streaming LLM for Speech Recognition
Recent works have shown that prompting large language models with audio encodings can unlock speech recognition capabilities. However, existing techniques do not scale efficiently, especially while handling long form streaming audio inputs -- not only do they extrapolate poorly beyond the audio length seen during training, but they are also computationally inefficient due to the quadratic cost of attention. In this work, we introduce SpeechLLM-XL, a linear scaling decoder-only model for streaming speech recognition. We process audios in configurable chunks using limited attention window for reduced computation, and the text tokens for each audio chunk are generated auto-regressively until an EOS is predicted. During training, the transcript is segmented into chunks, using a CTC forced alignment estimated from encoder output. SpeechLLM-XL with 1.28 seconds chunk size achieves 2.7%/6.7% WER on LibriSpeech test clean/other, and it shows no quality degradation on long form utterances 10x longer than the training utterances.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01