アーカイブ / Audio
音の順序や回数を取り違える回答を、誤答例との比較で減らすAHA
AHA
AHAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Four principal hallucination types observed in temporal audio reasoning: Event Omission, False Event Identity, Temporal Relation Error, and Quantitative Temporal Error. Each panel illustrates the definition of the failure mode along with a representative hallucination example produced by Qwen2.5-Omni on diagnostic testing.
概要
- AHAは音の見落とし、取り違え、順序、回数・長さの誤りに対応する、正答と自然な誤答の組を作る。
- 著者らの表では、追加学習後の順序関係の誤り率が30.5％から15.9％に下がり、MMAU-testの正解率は71.2％から72.5％になった。
- 自動採点の限界が報告され、改善後も見落としや回数・長さの誤りが残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AHAの仕組み
- 01音声と質問
- 02正答・誤答の組
- 03選好学習
- 04音声への回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音を理解して文章で答えるモデルは、録音にない出来事を述べたり、聞こえた音の順番や回数を取り違えたりする。文章として自然でも、時間に沿って起きた事実と合わなければ、記録の要約や監視の補助には使いにくい。
音は複数の出来事が重なり、長さや順序の判断も必要になる。AHAは誤りを細かく分け、どの聞き取りや推論が崩れたかを学習と評価の両方で扱う。
手法
AHAは、複数の音が起こる録音と説明文から、順序、回数、長さなどを尋ねる質問を作る。正答は説明文を基にし、誤答は音の順番を逆にする、回数を変える、存在しない音を加えるなどして生成する。人が音に照らして代表的な誤答を選び、正答との組を作る。この誤答は、言葉として自然で区別が難しい「難しい負例」である。
その組でQwen2.5-OmniをDPOにより追加学習し、音声と質問を受けたとき正答を選びやすくする。別に、人が正答と誤りの種類を確認したAHA-Evalで評価する。例えば二回鳴った音を三回と答える誤りを学習用の対比と評価項目の双方で扱う。
新規性
音声に関する誤りを、聞こえる出来事の見落とし、音の取り違え、前後関係の誤り、回数や長さの誤りに分けた。各誤りに対応する、もっともらしいが音と矛盾する回答を作り、正しい回答との組を追加学習に使う点が提案である。
同じ分類に沿って診断用のAHA-Evalも作り、どの種類の誤りが残るかを測る。ただし、追加学習後の改善を、そのまま任意の録音や業務環境での信頼性とみなすことはできない。
従来手法との違い
基準は追加学習前のQwen2.5-Omniで、提案法は同モデルへ正答と誤答の優先関係を学習させる。直接選好最適化（DPO）は、別の採点モデルを用意せず、正答を誤答より選びやすくする学習方法だ。比較実験にはKimi-Audioなど他の音声モデルも含まれる。
誤答は単なる無関係な文ではなく、出来事の順番を入れ替えたり回数を変えたりした、文章として自然な回答である。差が音の根拠に集中するよう設計した点が、追加学習の狙いとなっている。
実験結果
著者らはAudioTimeの一部から、複数の出来事を含む学習用1万1507件とテスト用1251件を選んだ。AHA-Evalでは、基準モデルから提案モデルへ、出来事の見落とし率が70.6％から53.8％、順序関係の誤り率が30.5％から15.9％に下がったと表で報告している。評価には正解の説明文を参照する自動判定も使う。
公開評価の正解率はMMAU-testで71.2％から72.5％、MMARで58.1％から59.7％だった。これらは著者らの設定での結果で、AHA-Evalの誤り率と公開評価の正解率は異なる指標である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備の録音を後から調べる担当者に、音の出来事を時系列で要約する補助画面を想定する。入力は録音と「警告音は何回鳴り、衝撃音の前か後か」という質問。出力は回答と、担当者が確認すべき時間順の記述である。
担当者は再生して回数と順序を照合し、誤りを四つの分類で記録する。研究の評価結果だけで警報の判定を自動化する案ではなく、聞き直しが必要な箇所を整理する応用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用予定の録音から、音の見落とし、取り違え、順序、回数を含む質問を少数作り、人が録音を聞いて正答を付ける。追加学習前のモデルを基準に、AHAを適用したモデルへ同じ質問を出す。質問と正答は評価前に固定する。
四種類の誤り率を別々に数え、正答でも説明が過剰な例や、判定者間で意見が割れる例を記録する。特に誤りが残りやすい種類を確認し、再生による人手の確認時間が減るかを測る。
限界と課題
著者らは、自動採点に使う判定モデルが、妥当な抽象的回答まで誤りと判定する場合があると指摘する。AHA-Evalの誤り率は、この採点方法にも左右される。また、表では改善後も出来事の見落とし53.8％、回数・長さの誤り52.6％が残る。
編集上の確認課題は、実際の録音で音が重なる場合や雑音がある場合の誤り、質問の言い方による変動、人による判定との一致である。本文の説明文と表に一部異なる改善値があるため、数値を使う際は対象指標を明記したい。
出典
元のタイトル・要旨を確認する（英語）
AHA: Aligning Large Audio-Language Models for Reasoning Hallucinations via Counterfactual Hard Negatives
Although Large Audio-Language Models (LALMs) deliver state-of-the-art (SOTA) performance, they frequently suffer from hallucinations, e.g. generating text not grounded in the audio input. We analyze these grounding failures and identify a distinct taxonomy: Event Omission, False Event Identity, Temporal Relation Error, and Quantitative Temporal Error. To address this, we introduce the AHA (Audio Hallucination Alignment) framework. By leveraging counterfactual hard negative mining, our pipeline constructs a high-quality preference dataset that forces models to distinguish strict acoustic evidence from linguistically plausible fabrications. Additionally, we establish AHA-Eval, a diagnostic benchmark designed to rigorously test these fine-grained temporal reasoning capabilities. We apply this data to align Qwen2.5-Omni. The resulting model, Qwen-Audio-AHA, achieves a 13.7% improvement on AHA-Eval. Crucially, this benefit generalizes beyond our diagnostic set. Our model shows substantial gains on public benchmarks, including 1.3% on MMAU-Test and 1.6% on MMAR, outperforming latest SOTA methods. The model and dataset are open-sourced at https://github.com/LLM-VLM-GSL/AHA.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30