アーカイブ / Audio / LLM
指示文に合わせて音声の特徴を融合するPaM：文字起こし、話者数判定、音の説明を一つのモデルで扱う
Prompt-aware Mixture (PaM)
Prompt-aware Mixture (PaM)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: The architecture of the proposed PaM method. The output feature of the prompt guides the routing of the MoE adapter where we use a fixed shared expert and a single routed expert. For each expert, the last hidden states of all encoders are concatenated with a set of fused hidden states derived from a fusion weight matrix. Subsequently, an FFN is applied to align with the dimensions of the LLM.
概要
- PaMは指示文から課題を推定し、三つの音声エンコーダーの各層の特徴を課題別に融合する。
- 著者らの実験では、LibriSpeech test-cleanの単語誤り率がPaMで3.65、最良の単一エンコーダー方式で4.30だった。
- 複数エンコーダー方式との比較では全項目で首位ではなく、話者数の正解率はSALMONNが49.40％、PaMが42.80％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Prompt-aware Mixture (PaM)の仕組み
- 01音声と指示文
- 02三種の音声特徴抽出
- 03指示文から課題推定
- 04専門家による特徴融合
- 05テキスト回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声を扱う言語モデルには、発言を文字にする自動音声認識と、聞こえた内容を文章で説明する音声キャプションの両方が求められる。前者は発話内容、後者は背景音などの手掛かりも使うため、課題ごとに役立つ特徴が異なる。
音声エンコーダーは録音を数値の特徴に変える部分を指す。従来は、その特徴を言語モデルに渡す接続層を学習し、共通の特徴を作る方法が中心だった。PaMは、指示された課題に応じて特徴の作り方を変える。
手法
PaMは音声をWhisper、WavLM、Wav2Vec2という三つのエンコーダーに通し、各層の特徴を取り出す。指示文からは、言語モデルの表現を使って課題を推定する。著者らの構成には、全課題に共通の専門家一つと、清潔な音声の文字起こし、雑音のある音声の文字起こし、話者数判定、音の説明に対応する四つの課題別専門家がある。
ここで専門家とは、特徴の混ぜ方を学習した部品を指す。推定した課題に対応する専門家を一つ選び、共有の専門家とともに各エンコーダーの層へ重みを付ける。融合した特徴は各エンコーダーの最終層の特徴と結合し、言語モデルに渡せる形へ変換する。例えば文字起こしの指示なら、音声から発言のテキストを生成する。
新規性
PaMの新規性は、指示文から課題を推定し、音声特徴を融合する専門家を切り替える点にある。音声エンコーダー自体を選び直す仕組みではない。
全課題で使う共有の専門家と、選択された一つの課題別専門家を併用する。各専門家は三つのエンコーダーの層に独立した重みを持ち、融合した特徴を言語モデルに合わせて変換する。
従来手法との違い
著者らは、Whisper、WavLM、Wav2Vec2をそれぞれ単独で使う方式と比較した。複数のエンコーダーを使う比較方式として、特徴の連結を使うWavLLMとSALMONNの融合方法を再実装し、単純な平均も試している。
PaMは表にある全評価項目で、最良の単一エンコーダー方式を上回った。一方、複数エンコーダー方式に対して全項目で首位ではない。話者数の正解率はSALMONNが49.40％、PaMが42.80％だった。
実験結果
著者らは文字起こし、話者数判定、音の説明を評価した。学習音声は、LibriSpeech-100とAMIによる文字起こし用200時間、Common Voice V4から合成した話者数判定用150時間、AudioCapsの説明文用100時間で、計450時間だった。指標は順に単語誤り率、正解率、METEORという説明文と正解文の一致度である。
著者らの表では、LibriSpeech test-cleanの単語誤り率はPaMが3.65、最良の単一エンコーダー方式が4.30だった。AMIでは12.79対16.27、AIR-Benchの話者数正解率は42.80％対41.40％、AudioCapsのMETEORは35.47対32.96だった。これらは記載された評価条件での値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：許可を得た社内会議の録音を、一つの仕組みで文字起こしと内容の短い説明に使う試行を想定する。入力は会議音声と「発言を書き起こす」「録音の内容を説明する」という指示文、出力は指示に対応するテキストとする。
試行には、会議音声に対応する書き起こしと説明文の正解例、指示文の課題ラベルが要る。音声は既存の録音手段から得る想定とし、専門用語や収音条件に合わせた調整の要否を確かめる。業務での改善は未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象となる会議録音を集め、文字起こしと音の説明について人手で正解テキストを作る。話者数も扱うなら人数ラベルを追加し、各指示文には課題ラベルを付ける。音声の入力には既存の録音手段を使い、録音の長さや形式を試行用にそろえる。
同じ学習用・評価用データでPaMと単一エンコーダー方式を比較する。文字起こしは単語誤り率、話者数は正解率、説明文はMETEORと人手による内容確認を記録する。指示文の言い換えによって選ばれる専門家が変わるかも測り、会議音声への調整が必要か判断する。
限界と課題
著者らの実験対象は文字起こし、話者数判定、音の説明である。未経験の課題へ適用するには、必要とする音声特徴が近い課題に分類して専門家を選ぶ必要があると述べている。また、大きなエンコーダーへの置き換えには計算量の増加が伴う。
編集上の検証事項は、会議で発話が重なる場合や専門用語が多い場合の精度、指示文を言い換えた際の専門家の選択精度である。話者数判定ではPaMより高い正解率の比較方式があり、採用判断には用途別の確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Enhancing Speech Large Language Models with Prompt-Aware Mixture of Audio Encoders
Connecting audio encoders with large language models (LLMs) allows the LLM to perform various audio understanding tasks, such as automatic speech recognition (ASR) and audio captioning (AC). Most research focuses on training an adapter layer to generate a unified audio feature for the LLM. However, different tasks may require distinct features that emphasize either semantic or acoustic aspects, making task-specific audio features more desirable. In this paper, we propose Prompt-aware Mixture (PaM) to enhance the Speech LLM that uses multiple audio encoders. Our approach involves using different experts to extract different features based on the prompt that indicates different tasks. Experiments demonstrate that with PaM, only one Speech LLM surpasses the best performances achieved by all single-encoder Speech LLMs on ASR, Speaker Number Verification, and AC tasks. PaM also outperforms other feature fusion baselines, such as concatenation and averaging. Our code would be available at: https://github.com/shanweiqiao/PaM
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01