アーカイブ / Audio / LLM
発話の途中から翻訳音声を出すSimulS2S-LLM：語の境界と待機規則の役割
SimulS2S-LLM
SimulS2S-LLMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Simul-S2ST Es-En
概要
- 発話全体を使う二段階学習と、語境界を意識した入力表現、wait-k規則を組み合わせて同時音声翻訳を行う。
- CVSS-Cのスペイン語から英語へのテスト集合で、著者らの表はASR-BLEU 26.33を報告し、StreamSpeechは22.94だった。表の比較条件には統制不足との注記がある。
- 極端に短い遅延は研究対象外。会議への応用には、雑音や複数話者の下で訳の品質と遅延を別途確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SimulS2S-LLMの仕組み
- 01入力中の音声
- 02語境界を意識した表現
- 03待機規則と音声予測
- 04翻訳音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SimulS2S-LLMは、発話が終わる前に翻訳音声を出す手法である。同時音声翻訳では待ち時間を短くしたい一方、まだ届いていない言葉を踏まえて訳すことはできない。会話で使うには、訳の品質と出力の遅れを両方見る必要がある。
従来の音声対応の大規模言語モデルは、発話全体を先に入力する形を取る。途中までの音声から訳すには、届いた範囲をどう表し、いつ出力を始めるかを決めなければならない。
手法
入力音声を分割して読み、CIFという重みを順に積み上げる仕組みで、語の境界を意識した表現を作る。学習の第一段階では訳文を正解として音声側を調整し、第二段階では訳先の音声を記号化した「音声トークン」を正解として生成部を学ぶ。文章を扱う言語モデル本体は固定する。
推論時はwait-kという規則に従い、例えばwait-3なら音声表現が三つ届いてから最初の訳を作る。言語モデルの複数層の内部表現を合わせて音声トークンを予測し、候補を逐次探索する。選んだトークンを学習済みの音声合成器で波形に変える。
新規性
著者らの主張する新しさは、発話全体を参照して学習した音声対応の大規模言語モデルを、発話途中の入力による同時音声翻訳に使う点にある。語の境界を意識した音声表現で、学習時と推論時の入力の違いに対処する。
言語モデルの複数層の内部表現を重み付きで合わせ、翻訳先の音声トークンを予測する。逐次的な候補探索では、入力途中に最有力候補だけを次へ残す。
従来手法との違い
StreamSpeechは同時音声翻訳の比較対象で、同じ音声トークンと音声合成器を使うが、大規模言語モデルを使わない。SimulS2S-LLMは、言語モデルを固定した二段階学習と、推論時のwait-k規則を組み合わせる。
もう一つの比較対象は、音声表現を一定間隔でまとめ、語の境界を考慮しない版である。こちらもwait-kを使うため、音声プロンプトの作り方の違いを調べられる。論文表の既発表方式との比較は、著者ら自身が条件は十分に統制されていないと記している。
実験結果
著者らはCVSS-Cのスペイン語・フランス語・ドイツ語から英語への翻訳を評価した。訳音声を書き起こして参照訳と比べるASR-BLEUを品質指標に、対応する入力と出力の平均的な遅れを表すATDを遅延指標に用いた。
スペイン語から英語へのテスト集合で、表のASR-BLEUはSimulS2S-LLMが26.33、StreamSpeechが22.94だった。著者らは図の品質・遅延曲線でも、同程度の遅延で約4点の差を報告する。表の数値だけでは遅延が等しいとはいえず、表の方式間比較には統制不足との注記がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：少人数の遠隔会議で、スペイン語の発言を英語音声として順次伝える。入力は発言者のマイク音声、出力は参加者が聞く英語音声とし、原音と訳音声の時刻を記録する。会議中の有効性は未検証である。
対象分野へ適応するなら、スペイン語音声と書き起こし、対応する英語の訳文と音声が要る。書き起こしは音声表現の長さを学ぶためのラベルにもなる。収集した会議データで適応し、別の発言で訳の品質を確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：スペイン語から英語への短い会話で小規模試験を行う。入力にはマイク音声を使い、評価用には原音と時刻、スペイン語の書き起こし、英語の参照訳を別に用意する。モデルを対象分野に適応する場合は、対応する英語音声も含む組データを集める。
まず発話全体を聞いてから訳す方式を基準とし、同時出力時のASR-BLEUとATDを記録する。固有名詞の誤訳や、出力済み音声を訂正できない場面は人が確認する。適応に必要なデータ量と手順も、この試験で見積もる。
限界と課題
著者らは、極端に短い遅延を要する場面を対象にしていない。語順の組み替えが必要な翻訳では、入力を十分に待てないと品質が下がると説明する。また、出力済みの音声は次の生成時に前置され、後から修正されない。
編集上の検証事項は、会議の雑音、複数話者、専門用語、長い発話が品質と遅延に及ぼす影響である。確認できた本文の範囲では、これらの条件での結果や、人が聞いて評価した訳音声の品質は確認できない。
出典
元のタイトル・要旨を確認する（英語）
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Simultaneous speech translation (SST) outputs translations in parallel with streaming speech input, balancing translation quality and latency. While large language models (LLMs) have been extended to handle the speech modality, streaming remains challenging as speech is prepended as a prompt for the entire generation process. To unlock LLM streaming capability, this paper proposes SimulS2S-LLM, which trains speech LLMs offline and employs a test-time policy to guide simultaneous inference. SimulS2S-LLM alleviates the mismatch between training and inference by extracting boundary-aware speech prompts that allows it to be better matched with text input data. SimulS2S-LLM achieves simultaneous speech-to-speech translation (Simul-S2ST) by predicting discrete output speech tokens and then synthesising output speech using a pre-trained vocoder. An incremental beam search is designed to expand the search space of speech token prediction without increasing latency. Experiments on the CVSS speech data show that SimulS2S-LLM offers a better translation quality-latency trade-off than existing methods that use the same training data, such as improving ASR-BLEU scores by 3 points at similar latency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01