アーカイブ / Audio
実音声と無音の予測を比べ、存在しない音への「ある」を減らす
Audio-Aware Decoding
Audio-Aware Decodingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Illustration of our proposed Audio-Aware Decoding (AAD). Since the probability of the “no” token increases significantly when audio is present, AAD up-weights this token, resulting in outputs that are more faithful to the audio context.
概要
- AADは、実音声と同じ長さの無音で候補語の予測を比べ、音声で選ばれやすくなる語を重視する。
- 著者らの対象物評価で、Qwen2-Audioの無作為条件のF1値は標準設定0.302からAADのα=1.0で0.737になった。
- 一問につき二通りのモデル計算が必要で、対象物の幻覚は「はい／いいえ」の質問で評価されている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Audio-Aware Decodingの仕組み
- 01録音と質問
- 02実音声と無音で予測
- 03候補語の点数を調整
- 04回答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声と言語を扱うモデルは、録音についての質問に文章で答えられる。一方、録音にない音が「ある」と答える場合がある。犬の鳴き声だけの録音で猫も鳴いていると答えれば、音の有無を記録する作業では誤記につながる。
質問の前に注意を促す文を加える方法もあるが、その効果はモデルや文の選び方に左右される。著者らは、回答を作る時点で実際の音声が候補語の選択に与える影響を使い、存在しない音への誤答を減らそうとした。
手法
Audio-Aware Decoding（AAD）は、回答を一語ずつ作るたびに二通りの予測を行う。同じ質問と生成済みの文を使い、一方には実際の録音、他方には同じ長さで値をすべてゼロにした無音を入力する。モデルが各候補語に付ける生成前の点数を比べ、実音声で選ばれやすくなる語を重視する。
例えば犬の鳴き声の録音に「猫の鳴き声があるか」と尋ねる。実音声で「いいえ」の点数が無音の場合より高ければ、その語が選ばれやすくなる。調整の強さは係数αで指定し、主実験では0.5と1.0を試した。AADの設定では、質問の前に音声へ集中するよう促す文も付ける。
新規性
著者らは、音声と言語を扱うモデルの回答生成時に、実音声と同じ長さの無音を対比させる方法を提案した。音声を使う対比的な生成としては初めてだと主張している。
調整は回答を作る段階で行う。提示された手法に追加学習の工程はないが、音声で点数が上がった語が必ず正しいという意味ではない。
従来手法との違い
標準設定は録音と質問をそのまま入力する。もう一つの比較対象は、音声に集中して答えるよう促す文を質問の前に加える設定だ。AADは同じ促し文を使い、実音声と無音で候補語の点数を比べる。
着想元の文脈認識デコーディングは、検索で得た文章の有無を比較する。AADは比較する情報を音声に変えた。実験表では、促し文だけの効果と、回答生成時の調整を加えた効果を区別できる。
実験結果
著者らはSALMONN-7B、SALMONN-13B、Qwen2-Audio-7B-Instructを評価した。対象物の有無を問う約3万件では、不在の対象物を無作為、実在物と共起しやすいもの、高頻度のものから選ぶ。Qwen2-Audioの無作為条件で、「いいえ」を陽性とするF1値は標準設定0.302、促し文のみ0.397、AADのα=1.0で0.737だった。
Clotho-AQAの「はい／いいえ」で答える2490件では、同モデルの正答率が標準設定0.711、AADのα=0.5で0.814だった。一方、対象物評価の共起しやすいものを選ぶ条件では、同モデルの正答率は0.487から0.458に下がった。F1値と正答率、質問の条件を分けて読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：工場の警報音を含む可能性がある録音に「警報音が聞こえるか」と尋ね、回答と録音への参照を点検担当者に渡す。担当者が録音を確認してから記録に反映する運用を想定する。
入力には現場のマイクで収録した音声と定型質問が要る。適用前には警報音の有無を人が確認した正解ラベル付き録音を集め、警報音の種類に合わせて質問文を調整する。工場での効果は論文では検証されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場のマイクで警報音がある録音とない録音を収集し、人が音の有無を確認して正解ラベルを付ける。音声質問応答モデルに録音と定型質問を入力し、対象の警報音に合わせて質問文を調整する。AAD自体の追加学習用データは前提としない。
同じ録音で標準設定、促し文のみ、AADを比べ、係数αは検証用データで選ぶ。警報音がないのに「ある」と答える割合、見逃す割合、正答率、回答までの時間を測る。収録位置と録音条件も記録し、担当者の確認を含む運用で評価する。
限界と課題
著者らが明記する制約は、一問につき実音声と無音でそれぞれモデルを計算するため、標準設定より計算量が増えることだ。並列計算で待ち時間を抑えられると述べるが、実測時間は示していない。対象物の幻覚も「はい／いいえ」の質問で評価している。
編集上の検証事項は、自由記述の回答、短い警報音、背景雑音が多い録音への適用である。無音との比較が現場の収録条件でどう働くか、誤った「ある」と見逃しの両方を確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Reducing Object Hallucination in Large Audio-Language Models via Audio-Aware Decoding
Large Audio-Language Models (LALMs) can take audio and text as the inputs and answer questions about the audio. While prior LALMs have shown strong performance on standard benchmarks, there has been alarming evidence that LALMs can hallucinate what is presented in the audio. To mitigate the hallucination of LALMs, we introduce Audio-Aware Decoding (AAD), a lightweight inference-time strategy that uses contrastive decoding to compare the token prediction logits with and without the audio context. By contrastive decoding, AAD promotes the tokens whose probability increases when the audio is present. We conduct our experiment on object hallucination datasets with three LALMs and show that AAD improves the F1 score by 0.046 to 0.428. We also show that AAD can improve the accuracy on general audio QA datasets like Clotho-AQA by 5.4% to 10.3%. We conduct thorough ablation studies to understand the effectiveness of each component in AAD.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01