アーカイブ / Audio
生成音の聴取評点を予測するAudioMOS Challenge 2025――音楽・音声・一般音の3課題
AudioMOS Challenge 2025
AudioMOS Challenge 2025の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2 : Bar plot of system-level SRCC values of all participants in track 2.
概要
- 生成音の人による評点を予測する競技会で、生成音楽、音声、一般音を三つの課題で扱った。
- 24チームが最終予測を提出。第1課題のT09は、基準モデルよりシステム単位の順位相関が品質と指示文一致度の両軸で高かった。
- 業務で使うには、対象音源と指示文、人の評点を集め、学習に使わない音源で予測と聴取判断を照合する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AudioMOS Challenge 2025の仕組み
- 01生成音楽と指示文
- 02音と文の特徴を抽出
- 03二軸の評点を予測
- 04品質と一致度の予測値
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AudioMOS Challenge 2025は、生成した音を人が聴いて付ける評点を、モデルで予測する課題を扱う。MOSは複数の聴取者による評点の平均で、主観的な音の品質を示す。
聴取試験には費用の制約がある。論文は、従来よく使われる自動指標が音楽や一般音では人の知覚との相関が低いとする先行研究にも触れる。人の判断に近い予測ができるかを、共通の課題で調べる意義がある。
手法
競技会には三つの課題がある。第1課題は文章の指示から作った音楽について、全体の品質と指示文との一致を予測する。第2課題は音声、音楽、一般音を対象に、録音品質、音場の複雑さ、聴く楽しさ、制作への有用性の四軸を扱う。第3課題は標本化周波数が異なる合成音声を扱う。標本化周波数は、音をデジタル化するときに1秒間に記録する回数である。
参加者は、人の評点が付いた音源を使ってモデルを学習し、別の音源に対する予測値を提出する。例えば「落ち着いたピアノ曲」という指示で作った音楽なら、第1課題の基準モデルは音源と指示文を数値の特徴に変え、曲としての品質と指示への一致を別々の値で返す。提出値は聴取試験で得た評点と照合される。
新規性
著者らは、生成音に対する人の主観的な品質評価を自動予測する初の競技会と位置づける。先行するVoiceMOS Challengeの音声中心の対象を、生成音楽と一般音にも広げた。
音楽では全体の品質と指示文との一致を分けて予測する。別の課題では録音品質など四つの観点を扱い、一つの評点だけでは表しにくい聴取評価を比較できるようにした。
従来手法との違い
第1課題の基準モデルB01は、CLAPという音と文章をそれぞれ数値の特徴に変えるモデルを使い、音楽品質と指示文との一致を別々に予測する。第2課題のB02はWavLMで音の特徴を取り出し、四つの評点を推定する。
第3課題のB03は、合成音声を16 kHzに変換して評点を予測する。著者らは各課題で参加モデルと対応する基準モデルを比較し、多くが基準モデルを上回ったと報告した。課題ごとに音源と評価軸は異なる。
実験結果
著者らは24チームが最終予測を提出し、第1・第2・第3課題にそれぞれ9・10・7チームが参加したと報告する。主指標は、生成システムごとに集計した人の評点と予測値の順位がどれほど一致するかを示すSRCC、スピアマン順位相関係数である。
第1課題のMusicEvalは2,748音源を学習1,923、開発412、試験413に分け、各音源を5人が二軸で5段階評価した。著者らによると、T09の試験結果は基準モデルB01よりシステム単位のSRCCが品質で20.8％、一致度で30.4％高い。第2課題の試験音源は3,060件、第3課題は400件である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：広告用BGMの候補選びに、第1課題の二軸予測を試す。生成した音楽ファイルと制作時の指示文を入力し、音楽としての品質と指示文との一致の予測値を一覧にする。担当者が実際に聴き、候補を選ぶ際の参考値として扱う。
適応には、対象業務の音源と対応する指示文、複数の聴取者が二軸で付けた評点が要る。追加のセンサーは想定せず、制作記録から入力をそろえ、収集した評点で予測モデルを対象業務に合わせて学習する。選別への有用性は別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：広告用BGMの音源、生成時の指示文、複数の聴取者による品質と一致度の評点を集める。追加センサーは使わず、音源と指示文を入力として整え、一部の評点付き音源で予測モデルを対象業務に適応させる。
比較対象には第1課題の基準モデルB01を置く。学習に使わない音源で、人の評点とのシステム単位の順位相関を二軸別に測り、低評価の候補を高く予測する例も調べる。最後に担当者の聴取判断と照らし、候補選びの参考値になるか確認する。
限界と課題
著者らによると、第2課題の学習音源には再配布できないものがあり、参加者が各自で取得する必要があった。参加者からはデータ不足や学習期間の短さも指摘された。第3課題の基準モデルは16 kHzへの変換で高周波の情報を失う。
編集上の検証事項は、対象業務の音源でも人の評点との順位が合うか、聴取者間で評価がどれほど一致するか、予測値が制作判断に役立つかである。競技会の結果だけでは、広告用BGMの選別精度や作業時間への効果は分からない。
出典
元のタイトル・要旨を確認する（英語）
The AudioMOS Challenge 2025
This is the summary paper for the AudioMOS Challenge 2025, the very first challenge for automatic subjective quality prediction for synthetic audio. The challenge consists of three tracks. The first track aims to assess text-to-music samples in terms of overall quality and textual alignment. The second track is based on the four evaluation dimensions of Meta Audiobox Aesthetics, and the test set consists of text-to-speech, text-to-audio, and text-to-music samples. The third track focuses on synthetic speech quality assessment in different sampling rates. The challenge attracted 24 unique teams from both academia and industry, and improvements over the baselines were confirmed. The outcome of this challenge is expected to facilitate development and progress in the field of automatic evaluation for audio generation systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01