アーカイブ / Audio / LLM
音の手掛かりは回答のどこで途切れるか――音声入力LLMの内部を追う
Where Does the Sound Go?
Where Does the Sound Go?の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of our analysis. An audio-conditioned LLM (ALM) processes the audio input through an encoder–projector–LM pipeline. To trace where the acoustic information goes, we investigate each stage, after the encoder, projector, LM internals, and LM head, asking whether discriminative acoustic information remains recoverable or has been lost.
概要
- 五つの音声エンコーダーを共通の言語モデルにつなぎ、音の情報が回答までどう伝わるかを調べた。
- 著者らの三つの課題群の平均ではWhisper-Smallが最上位で、前段の交換だけでは音の手掛かりの利用不足は解消しなかった。
- 最終層から正解に関わる情報を取り出せても回答は誤り得る。回答文字に対応する出力層だけの更新で、分析課題の平均正答率が改善した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Where Does the Sound Go?の仕組み
- 01音声波形
- 02前段の音声特徴
- 03接続後の表現
- 04言語モデル最終層
- 05選択肢文字
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声を受け取る言語モデルは、発話の言葉を捉えていても、声の調子や感情、言葉以外の音を回答に十分反映しないことがある。音声認識向けの前段が手掛かりを捨てているなら、前段の交換が対策の候補になる。
一方、音の情報が内部に残っていても、最終回答に結び付かなければ同じ問題が起きる。どの段階で利用が途切れるかを見極めることは、前段の選択と、追加学習する部分を決めるうえで重要である。
手法
著者らは音声波形を五つのエンコーダーのいずれかに通し、得られた特徴を接続部で言語モデルに渡した。エンコーダーは音を数値の列に変える前段、接続部はその列を言語モデルが扱う形に合わせる部分である。例えば感情を問う音声なら、モデルは音と質問を受け取り、選択肢の文字を出す。
各段階では「線形プローブ」という別に学習した簡単な分類器を使い、その段階の数値から正解を取り出せるか調べた。さらに、最終層から取り出せる情報と実際の回答を比べ、選択肢の文字に対応する出力層の重みだけを更新した。これにより、内部に残る情報をモデル自身の回答へ結び付ける部分を調べている。
新規性
著者らは、音声の手掛かりを使い切れない原因を、音声エンコーダーによる情報消失だけでは説明できないと示した。異なる五つのエンコーダーを共通の言語モデルにつなぎ、同じ正解ラベルを使って各段階の情報を追跡している。
最終層から正解に関わる情報を取り出せても、選択肢の文字としては正答できない差を検証した。回答文字に対応する出力層の重みだけを更新し、内部の情報と回答の結び付きが成績に影響することを確かめた。
従来手法との違い
比較した前段は、音声認識向けのWhisper-Tiny、Whisper-Smallと、音を再構成する方式のEnCodec、DAC-VAE、WavTokenizerである。共通のQwen3.5-4Bを使い、各前段に固有の接続部を同じ方法で学習した。著者らの評価では、Whisper-Smallが三つの課題群すべての平均で最上位だった。
内部分析では、各段階の情報から別の分類器で正解を推定した結果と、モデル自身が出す選択肢の文字を比較した。言語モデル内部の追加学習による変化は前段ごとに異なる一方、回答文字に対応する出力層の更新では、分析した課題の平均正答率が改善した。
実験結果
著者らは音声認識、感情認識、環境音の説明文生成を評価した。課題群内の平均で、Whisper-Smallは単語誤り率7.05、感情認識のmacro-F1が0.462、説明文生成のCIDErが0.847だった。EnCodecは順に20.80、0.393、0.259である。音声認識はLibriSpeechの二条件とGigaSpeechのテスト、感情はMELDとIEMOCAPのSession 5、説明文は四つのデータセットの平均である。
内部分析では、NSynthの選択肢回答の正答率が線形プローブより最大83ポイント低かったと報告する。五つの前段と六つの分析課題で回答文字に対応する出力層だけを更新すると、前段ごとの平均正答率は30～42ポイント上がった。これは論文の選択肢形式と評価条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：コールセンターの通話録音から声の感情候補を示し、人が確認する録音を選ぶ。入力は録音音声、出力は感情の候補と確認対象の一覧とする。担当者が音声を聞き、候補を採用するか判断する流れを想定する。
検討には、対象業務の通話録音と、人が基準を揃えて付けた感情ラベルが必要になる。音声は既存の通話録音系から得る想定で、追加センサーは置かない。録音条件を記録し、対象音声に合わせた接続部や回答文字への対応付けを検証する。この用途の性能は論文からは分からない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の通話録音を小規模に集め、担当者が共通基準で感情ラベルを付ける。録音系と収録条件を記録し、学習用と未使用の評価用に分ける。追加センサーは想定しない。まず音声を入れない同一質問文での回答を基準とし、音声を加えた選択肢回答の正答率を測る。
次に同じラベルを使って内部の線形プローブと実際の回答を比較する。差があれば、対象音声への接続部の適応と回答文字に対応する重みの調整を検討し、調整前後の正答率と感情別の取り違えを未使用音声で測る。録音条件が変わった場合も再評価する。
限界と課題
著者らは、最も成績のよい前段でも感情認識と説明文生成には改善の余地があると述べる。また、前段ごとに学習データや構造が異なるため、成績の順位だけで原因を特定していない。内部情報を取り出せることは、モデル自身が正しく回答できることも意味しない。
編集上の検証事項：選択肢の文字を出す課題で見つかった問題が、自由文の応答にも当てはまるかは別に確かめる必要がある。通話録音に使う場合は、言語、録音条件、感情ラベルの基準が変わったときの成績も測りたい。
出典
元のタイトル・要旨を確認する（英語）
Where Does the Sound Go? Tracing Acoustic Information Loss in Audio-Conditioned LLMs
Audio-conditioned language models often underuse acoustic cues such as prosody, emotion, and non-speech sounds, raising the question of whether ASR-supervised frontends discard this information before it reaches the LM. We test whether the frontend is responsible by comparing Whisper-Tiny and Whisper-Small with EnCodec, DAC-VAE, and WavTokenizer in a shared Qwen3.5-4B audio-LM pipeline on ASR, emotion recognition, and sound captioning. Encoder replacement alone does not resolve this underuse: Whisper variants remain strongest overall, including on emotion and environmental sound captioning. To localize the failure, we trace task-relevant information through the encoder, projector, LM layers, and LM head. Linear probes and geometric analyses show that discriminative acoustic structure remains recoverable at the final LM layer, even when MCQA accuracy trails probe accuracy by up to 83 points. Because the answer format and decoding procedure are controlled, this task-dependent gap points to content-specific readout failure rather than generic format bias. LogitLens analyses and a targeted LM head intervention support the conclusion that acoustic underuse is not explained solely by encoder-side information loss and that readout alignment can be a dominant bottleneck.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01