表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

音声の選択・二択・評点を直接出力、Qwen-Audio-Jevが回答文の逐次生成を省く

Qwen-Audio-Jev

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • 音声、質問、回答仕様を読み、選択肢確率、命題の真の確率、順序評点を専用ヘッドから返す。
  • MMAUで78.70%、話者照合で等誤り率6.50%、NISQA品質評点で正規化平均絶対誤差0.1062を報告する。
  • 元の基盤モデル比で約20倍の高速化を述べるが、質問は別々に処理され、確率の校正や実配備条件は追加評価が必要。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Qwen-Audio-Jevの仕組み

左から右へ読む
  1. 01音声と質問と回答仕様
  2. 02共通モデルで表現
  3. 03指定型の決定ヘッド
  4. 04確率分布か評点

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

大量の録音に対して必要なのが分類名や評点だけなら、LLMに回答文を一語ずつ作らせる時間と、その文をソフトウェアが解析する手間が負担になる。音声理解は広くても、出力が決まった選択や数値に限られる業務は多い。

Qwen-Audio-Jevは自然言語で課題を指定できる部分を保ち、回答直前の内部状態から決定を直接読む。音声モデルを使う入口と、下流プログラムが受け取る出力型を明確に結び付ける研究である。

手法

音声符号化器、言語側へつなぐ変換器、言語デコーダは元のQwen-Audio基盤を用いる。質問と候補や評点基準を音声と一緒に読み、回答トークンが入る前の最後の状態を専用ヘッドへ渡す。CHOICEは2〜64候補、NOULは一つの命題の真偽確率、SCOREは2〜10の順序水準の分布を返す。

SCOREは各水準の確率で重み付けした平均を評点とする。例えば同じ録音でも「雑音はあるか」と「音質を五段階で評価」の仕様を変えれば別の出力を得る。訓練は利用可能なラベルのある課題だけ損失へ反映し、欠けた注釈を推測して埋めない。回答文を自己回帰で生成するループは使わない。

新規性

分類、二値関係、順序評点を、音声・質問・回答基準という共通形式で学習する。出力番号の意味は固定クラスではなく質問で渡す選択肢が決め、異なる音声課題に同じ入口を使える点が特徴となる。

回答の前の状態から読むため、訓練時の正解回答が決定状態へ見えない構成である。三種類の出力器があっても、複数質問を一度に解くという意味ではなく、指定された型だけを使う。

従来手法との違い

比較上の主な違いは、元の音声LLMが文章を逐次生成するのに対し、追加ヘッドが有限の答えへ直接写像する点である。著者らは元のQwen-Audio-3.1-ASR-Flash-Next比で約20倍の推論高速化を報告する。

ただし確認できた本文の範囲では詳細な速度計測表まで含まれていない。各課題の数値も、全てで専門モデルや元モデルを上回ると証明する比較ではない。型が揃う利点と予測能力・確率の品質は別々に確認する必要がある。

実験結果

評価はCHOICE八、NOUL四、SCORE六の計18設定。選択課題はMMAUで78.70%、MMSUで84.06%、MELD感情で57.31%と課題差がある。話者照合VoxCeleb1-Oの等誤り率は6.50%と報告する。

NISQA総合品質では1〜5の評点幅で割った平均絶対誤差0.1062、Pearson相関0.8210、Spearman相関0.8074。等誤り率は閾値を動かした指標なので、固定0.5での業務誤り率とは異なる。評点相関も個々の値の正確さとは分けて読む。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案として、録音の品質点検を大量に行う社内工程で使う。入力は音声、雑音有無の質問、品質の段階定義、出力は真偽確率と期待評点で、低品質候補を人の確認へ回す。

文章から数値を抜き出す処理を減らし、同じ仕様の出力を記録しやすくする。採否の自動決定へ進める前に、装置や録音条件が違ってもスコアが人の判断と対応するかを評価し、確認対象の絞り込みから始める。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、対象業務の録音と人の評点を用意し、元モデルの文章回答と直接ヘッドを同じ入力で比較する。質問文、選択肢順、評点定義を固定した条件と変更した条件を分ける。

正答率、誤検知・見逃し、評点誤差、確率校正、録音長ごとの処理時間を測る。複数質問では各質問の前向き計算が必要なため、総時間も実測する。選択肢を並べ替えたときの安定性と、未見の録音機器での品質低下を確認する。

限界と課題

確率を出せることは、その値が実際の正解頻度と一致する校正を意味しない。本文も課題別の汎化、比較上の改善、校正、配備効率には追加評価が必要と述べる。二択の閾値は用途に応じて下流側で決める。

出力には候補数と水準数の上限があり、自由な説明を求める課題とは使い方が異なる。編集上の確認点は、質問や採点尺度を変えた際の一貫性と、境界的な例での保留判断である。統一された入口だけで全音声業務に十分な精度があるとは解釈しない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Qwen-Audio-Jev: A Unified Interface for Audio Decisions

Large audio language models (LALMs) have made substantial progress in audio understanding. However, in high-throughput applications requiring frequent selection, judgment, and scoring, autoregressive text generation introduces additional computational overhead and response latency. To address this limitation, we introduce Qwen-Audio-Jev by augmenting Qwen-Audio-3.1-ASR-Flash-Next with a dedicated Jev decision head. The model unifies selection, binary judgment, and scoring through three decision primitives: CHOICE, NOUL, and SCORE. Given audio, a natural-language question, and an explicit answer specification, it directly produces a task-conditioned probability distribution or a numerical score through typed decision readouts. Evaluation across 18 labeled configurations covers all three primitives: for CHOICE, Qwen-Audio-Jev achieves accuracies of 78.70% on MMAU-mini and 84.06% on MMSU; for NOUL, it achieves an equal error rate of 6.50% on the VoxCeleb1-O speaker verification benchmark; and for SCORE, the model achieves a normalized mean absolute error of 0.1062 on NISQA overall quality assessment, with Pearson and Spearman correlations of 0.8210 and 0.8074, respectively. Compared with the original Qwen-Audio-3.1-ASR-Flash-Next, Qwen-Audio-Jev achieves an approximately 20x inference speedup. It demonstrates its potential for efficient, high-throughput audio decision-making in applications such as large-scale audio screening, speaker verification, and automated quality assessment.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-16