アーカイブ / Audio / LLM
音声の理解と生成を一つのモデルで扱うUniAudio 2.0
UniAudio 2.0
UniAudio 2.0の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : The overview of the proposed UniAudio 2.0.
概要
- ReasoningCodecは音の理解に使うトークンと波形復元に使うトークンを分ける。
- UniAudio 2.0は文字と音を一つの逐次予測モデルで扱い、1000億の文章トークンと600億の音トークンで学習した。
- 提示された表には再構成と理解の指標があるが、未知課題での性能は用途別に確認が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、UniAudio 2.0の仕組み
- 01音声と文章
- 02二系統の音トークン化
- 03役割別の層で逐次処理
- 04文章または音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
UniAudio 2.0は、音を聞いて内容を扱う処理と、文章などを手掛かりに音を作る処理を、一つの音声言語モデルにまとめる研究である。音声を小さな単位に変える方法が、理解にも生成にも適していなければ、同じ仕組みで両方を扱いにくい。
実務では、録音の検索や説明と、音声での応答や効果音の作成を連続して扱いたい場面がある。この研究は、その間に置く音の表現と、文字・音を処理するモデルの構成を同時に設計している。
手法
ReasoningCodecは音の波形を、文章と対応しやすい「推論トークン」と、音を戻すための「復元トークン」に分ける。トークンはモデルが順に扱える離散的な記号である。前者は音の意味や知覚上の特徴、後者は音の細部を担い、波形は復元トークンから再構成する。
UniAudio 2.0は文章と二種類の音トークンを一つの系列に並べ、次に来る要素を順に予測する。たとえば環境音について尋ねる場合は音から文章を出し、音を作る場合は予測した音トークンを波形へ戻す。下層が音を読み取り、中層が文字と音を結び、上層が音の生成を扱う構成で、複数の音声課題を使って段階的に学習した。
新規性
ReasoningCodecは、音を理解・計画するための情報と、波形を復元するための情報を別の離散トークン列に分ける。さらにUniAudio 2.0は、下層を音の理解、中層を文字と音の対応付け、上層を音の生成に役割分担した逐次予測モデルを組み合わせる。
著者らが主張する前進は、理解に有利な表現と生成に有利な表現を同じ処理系で扱える点にある。「推論トークン」の推論は、音の手掛かりに基づく知覚的な判断を指し、文章で思考過程を長く書き出すことを意味しない。
従来手法との違い
従来の連続的な音声表現は理解に強い一方、高次元の値を順に生成する扱いが難しい。従来の離散音声符号は生成に使いやすいが、音響の細部に偏り、文章と結び付く意味情報が不足しやすいと著者らは整理する。
ReasoningCodecは二種類のトークンでこの役割を分担する。また、文字と音を全層で同じように処理する構成に対し、UniAudio 2.0では音専用の層と両者を結ぶ層を設ける。表の比較は条件をそろえた範囲で読む必要があり、全用途での優位を示すものではない。
実験結果
著者らは文章1000億トークン、音600億トークンでUniAudio 2.0を学習した。ReasoningCodecの再構成表では、発話のSTOI（聞き取りやすさの指標）が0.85、音響類似度SIMが0.97と報告される。比較対象にはDAC-Codec、EnCodec、X-Codecなどが含まれ、符号化後のトークン数をそろえる調整が行われている。
理解課題は音声認識、感情分類、一般音分類、音楽分類で比較した。推論・復元の両トークンを使った表の値は順に9.0、56.4、63.3、70で、指標の向きが異なるため単純に合算できない。既知・未知の発話、音、音楽課題で競争力や少数例・例なしでの汎化を報告するが、確認できた本文の範囲では、その主張に対応する全課題の数値を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内に蓄積した会議録音から、発言内容の要約と確認用の音声応答を作る試験を考える。入力は利用許可を得た短い録音と質問文、出力は内容を説明する文章と対応する音声とする。音の理解と生成を同じ仕組みで扱う設計を、実際の業務の流れに当てはめる案である。
まず録音を発言者や場面ごとに整理し、質問への回答が録音の内容に合うかを人が確認する。その後、音声出力の聞き取りやすさと内容の一致を別々に記録する。会議用途での性能は論文から直接は分からず、この用途は実証結果ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い録音について、文字起こし、質問応答、音声出力を各一つずつ試す。既存の文字起こしと別の音声生成手順を基準にし、同じ入力と質問で結果を並べる。比較条件をそろえれば、一つのモデルで扱う利点が実務上の品質にもつながるかを見やすい。
人手で発言内容の一致、聞き取りやすさ、生成音が指示に沿うかを別々に採点する。誤答の種類、処理時間、再試行の回数も残し、会議音声で求める水準を満たすか判断する。学習時の結果だけで、手元の録音への適合を前提にしない。
限界と課題
著者らは、大規模な学習と多段階の訓練を行い、本文では音声の理解・生成に関する結果を示す。一方、見えている範囲では、未知タスクでの「強い」汎化という記述を、用途別の数値や運用条件まで追って確認できない。比較表にも、音の種類や指標によって優劣が異なる項目がある。
導入時の確認事項は、対象言語や録音環境が評価条件とどれほど近いか、処理時間と費用が許容範囲か、内容を誤認した場合に検出できるかである。デモや重みは公開予定との記述であり、利用可能な状態や条件はここから確定できない。
出典
元のタイトル・要旨を確認する（英語）
UniAudio 2.0: A Unified Audio Language Model with Text-Aligned Factorized Audio Tokenization
We study two foundational problems in audio language models: (1) how to design an audio tokenizer that can serve as an intermediate representation for both understanding and generation; and (2) how to build an audio foundation model that generalizes in few-shot and zero-shot settings, analogous to large language models. To this end, we make the following two contributions. First, we propose ReasoningCodec, a discrete audio codec that factorizes audio into (i) reasoning tokens, which encode text-aligned, high-level analysis and planning representations for audio understanding and hierarchical generation, and (ii) reconstruction tokens, which encode semantic-rich acoustic cues for high-fidelity waveform reconstruction. This design achieves understanding performance comparable to strong continuous representations while improving generation quality and reconstruction fidelity over prior discrete tokenizers. Second, we introduce a unified autoregressive architecture for text and audio, together with multi-stage training and multi-task data construction. Using this framework, we train UniAudio 2.0 on 100B text tokens and 60B audio tokens. Across a wide range of speech, sound, and music tasks, UniAudio 2.0 performs competitively on in-domain evaluations and demonstrates strong few-shot and zero-shot generalization to unseen tasks. Demo, code, and checkpoints will be available at \href{https://dongchaoyang.top/UniAudio2Demo/}{https://dongchaoyang.top/UniAudio2Demo/}.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30