アーカイブ / Audio / LLM
文字起こしに声の特徴と周囲の音を加える音声AIの学習法
Unified Audio Schema
Unified Audio Schemaの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Overview of the UAS Data Generation Pipeline. (Stage 1) Acoustic captions are generated to capture paralinguistic and environmental context. (Stage 2) A structured synthesizer merges these captions with ground-truth transcripts. (Stage 3) An automated validation stage filters hallucinations and enforces logical consistency, yielding a final UAS that is ‘Structured & Complete’
概要
- UASは発話内容、声の特徴、発話以外の音を別々のJSON項目にして学習に使う。
- 著者らの報告では、MMSU知覚課題の正解率は55.7%で、比較対象の最高値44.8%を10.9ポイント上回った。
- MMAR総合ではUAS-Audioが60.1%、MMAU総合ではStep-Audio2の72.7%がUAS-Audioの69.4%を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Unified Audio Schemaの仕組み
- 01音声と正解文字起こし
- 02声と環境音を説明
- 03三項目に統合
- 04記録を検査
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声を扱う大規模言語モデルは、話の内容を理解できても、声の震えや背景の物音を見落とすことがある。著者らは、文字起こしを主な正解として学ぶと、発話内容以外の情報が学習で目立たなくなると考えた。
たとえば「大丈夫」と正しく書き起こせても、その言葉が震える声で発せられたことは文字列に残らない。通話や現場の録音を扱う際には、何を話したかに加え、どう聞こえたかを記録する方法が必要になる。
手法
Unified Audio Schema（UAS）は、音声の学習用正解を、発話内容、声の特徴、発話以外の音の三項目に分ける方法だ。JSONは項目名と値で情報を整理する形式を指す。たとえば「大丈夫」という発話とは別に、声の調子と扉が閉まる音を記す。発話のない音声では、文字起こしと該当する声の項目を空値にする。
作成時は、音声と既存の正解文字起こしを入力し、まず別のモデルで声や周囲の音の説明を生成する。次に、その説明と文字起こしを言語モデルで三項目に統合し、文字列の一致、属性の選択肢、項目間の矛盾、録音時間に対する説明量を検査する。得られた記録と、各項目を尋ねる質問回答を音声言語モデルの学習に使う。
新規性
著者らの提案は、文字起こしを保ちながら、声の特徴と発話以外の音を別の欄に置いたJSON形式の正解データで学習する点にある。モデルに新しい部品や専用の損失関数は加えていない。
既存の音声と文字起こしから記録を自動生成して検査し、その記録を基に質問と回答も作る。音の情報を記述する学習と、質問に使う学習を組み合わせている。
従来手法との違い
主な比較対象は、音声に対する正解を文字起こし中心に与える学習方法である。文字起こしは発話内容を正確に示せるが、声の調子や環境音はその文字列だけでは表しにくい。UASはこれらを独立した項目で与える。
評価では、連続的な音声表現を使うKimi-Audio、Qwen2.5-Omni、Step-Audio2とも比較した。UAS-AudioはMMSUの知覚課題で比較対象を上回る一方、MMAU総合ではStep-Audio2の値が高い。
実験結果
著者らの表では、MMSU知覚課題の正解率はUAS-Audioが55.7%、比較対象中で最高のKimi-Audioが44.8%で、差は10.9ポイントだった。MMSU推論課題は77.4%で、Qwen2.5-Omniの77.6%に近い。MMSUは47課題、5,000件の音声と質問回答からなる。
MMAR総合はUAS-Audioが60.1%、Step-Audio2が56.8%。MMAU総合はそれぞれ69.4%、72.7%だった。著者らは音声、音楽、環境音から無作為に選んだ生成データ400件を人手で調べ、声や環境音の属性の多くで平均正確率が95%超と報告する。項目別の数値は確認できた本文にない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：通話記録の確認に使う。既存の通話用マイクで収録した音声を入力し、発話内容、声の特徴、通話中の発話以外の音を別々の項目にした記録を出力する。担当者が確認箇所を探す補助として試す。
対象業務の録音と訂正済み文字起こしを学習元とし、音の説明を生成・検査してUAS形式と質問回答を作る。声や音の項目には、人が確認した評価用ラベルも用意する。通話音への適応後に有用かどうかは、実際の録音で確かめる必要がある。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の既存マイクによる録音と訂正済み文字起こしを集める。学習用には声と環境音の説明を生成し、UAS形式への統合と検査、質問回答の作成を行う。評価用には、声の特徴と音の出来事に人が確認したラベルを付ける。
文字起こし中心で学習した方法を比較基準とし、同じ録音条件の評価用データで、文字起こしの誤りと声・音の項目別正解率を比べる。担当者が確認箇所を見つけられる割合も測る。業務の音に合わせた項目の調整後、異なる録音環境でも結果を確認する。
限界と課題
著者らは、文字起こし中心の学習が声の特徴や音の出来事を軽視させると論じる。ただし、示された比較だけから、個々の誤答の原因まで特定できるわけではない。報告値は記載された評価課題での結果として読む必要がある。
編集上の検証事項は、対象業務の録音で声の属性や環境音を正しく識別できるか、雑音や複数話者の下でも使えるかである。感情など解釈を伴う評価用ラベルは、判定者同士の一致も確認したい。確認できた本文の範囲では、人手監査の項目別結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs
Recent Audio Large Language Models (AudioLLMs) exhibit a striking performance inversion: while excelling at complex reasoning tasks, they consistently underperform on fine-grained acoustic perception. We attribute this gap to a fundamental limitation of ASR-centric training, which provides precise linguistic targets but implicitly teaches models to suppress paralinguistic cues and acoustic events as noise. To address this, we propose Unified Audio Schema (UAS), a holistic and structured supervision framework that organizes audio information into three explicit components -- Transcription, Paralinguistics, and Non-linguistic Events -- within a unified JSON format. This design achieves comprehensive acoustic coverage without sacrificing the tight audio-text alignment that enables reasoning. We validate the effectiveness of this supervision strategy by applying it to both discrete and continuous AudioLLM architectures. Extensive experiments on MMSU, MMAR, and MMAU demonstrate that UAS-Audio yields consistent improvements, boosting fine-grained perception by 10.9% on MMSU over the same-size state-of-the-art models while preserving robust reasoning capabilities. Our code and model are publicly available at https://github.com/Tencent/Unified_Audio_Schema.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01