アーカイブ / Audio
音声・効果音・音楽の４軸評価を予測するAESCA
AESCA (T12)
AESCA (T12)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overview of the proposed T12 system for AMC25 Track 2. The system is a weighted ensemble model consisting of a KAN-based Audiobox-Aesthetics predictor (a) and a VERSA-based regression predictor (b).
概要
- AESCAは生成された音声・音・音楽から、制作品質など４軸の美的スコアを予測する。
- T12は疑似ラベルも使って学習した４つのKAN系モデルと、既存の評価指標を使うVERSA系モデルを統合する。
- AMC25評価用データではB02より４軸すべてで音源単位の順位相関が高かったが、内容の楽しさの平均二乗誤差は大きかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AESCA (T12)の仕組み
- 01生成された音源
- 02音の特徴と評価指標
- 03５モデルで４軸予測
- 04重み付き統合
- 05４軸のAES
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AESCAは、音声・効果音・音楽の「音の美的スコア」（AES）を音源から予測する。生成した音の評価では、明瞭さに加えて、構成の複雑さ、聴く楽しさ、創作に使えるかという観点も扱う。
AudioMOS Challenge 2025のTrack 2は、読み上げ音声、効果音などの音、音楽を生成するシステムの出力が対象である。制作品質、構成の複雑さ、内容の楽しさ、内容の有用性という４軸を、音源単位と生成システム単位で評価する。
手法
音源を二つの経路で処理する。KAN系ではWavLMが取り出した音の特徴から、４軸の値を予測する。KANは入力と出力の関係を表す関数を学習するネットワークで、従来の予測部を置き換える。VERSA系では既存指標の出力28個を入力し、XGBoostという決定木を組み合わせる方法で４軸を予測する。
KAN系は、正解スコア付きの音源に加え、正解のない音源へ既存モデルが付けた仮のスコアでも学習する。この仮のスコアを疑似ラベルという。異なる乱数設定のKAN系４モデルとVERSA系１モデルの重みを調整し、例えば短い音楽の入力に対して、制作品質など４軸の予測値を出す。
新規性
著者らは、Audiobox Aestheticsの４軸それぞれの予測部をgroup-rational KANに置き換え、正解スコア付き音源と、仮のスコアを付けた音源で学習した。
さらに、既存の音声評価指標から予測するVERSA系モデルを加えた。異なる乱数設定で学習した４つのKAN系モデルとVERSA系モデルの予測を、調整した重みで統合する点がT12の構成上の特徴である。
従来手法との違い
比較対象のB02は、事前学習済みのWavLMで音源の特徴を取り出し、４つの多層パーセプトロンで各軸を予測する。多層パーセプトロンは、入力を段階的に変換して数値を出すニューラルネットワークの部分である。
T12はその予測部を変更し、VERSA系の予測も統合する。AMC25の評価用データでは、B02より４軸すべてで音源単位の順位相関が高かった。ただし、平均二乗誤差まで一律に改善したわけではない。
実験結果
著者らは、音声、音、音楽の生成システムによる3,000件の音源を含むAMC25評価用データでT12とB02を比較した。音源単位のスピアマン順位相関係数（SRCC）は、予測と正解の順位の一致度を示す。制作品質はT12が0.832、B02が0.780、内容の楽しさは0.855対0.811だった。
一方、内容の楽しさの平均二乗誤差（MSE。予測値と正解値の差を二乗して平均した値）はT12が2.472、B02が1.893だった。著者らは、参加システム中で音源単位の３軸、システム単位の２軸と全体平均の相関が最良だったと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：広告制作でナレーション、効果音、短い音楽の候補を確認する際、既存の音声ファイルを入力し、４軸の予測値を候補一覧に添える。担当者は値を参考に試聴順を決め、最終判断は実際の音を聴いて行う。
導入先の候補音源と、人が４軸を評価した学習用ラベルが必要である。追加の録音センサーは想定しない。広告用音源に合わせて予測モデルを調整し、用途や評価者による採点の違いを確かめる、という仮説段階の応用である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の音声ファイルを集め、人が制作品質など４軸を採点したラベルを用意する。音源を学習用と評価専用に分け、導入先の音源に合わせた再学習の要否を確かめる。入力は既存の音声ファイルで、追加センサーは想定しない。
同じ評価用音源でB02相当の単独予測とT12型の統合予測を比べる。４軸ごとのSRCCとMSE、ナレーション・効果音・音楽別の誤差と外れ値を記録する。その結果と担当者の採点を照合し、候補選定に使えるか判断する。
限界と課題
著者らは、一部のテキストから生成した音楽でVERSA系モデルが外れ値を予測し、評価指標が悪化したと報告する。また、予測値の逆変換と外れ値が、T12の平均二乗誤差の改善課題だとしている。
編集上の検証事項は、導入先の音源の種類ごとの誤差、人による評価とのずれ、外れ値の頻度である。確認できた本文の範囲では、広告制作での候補選定時間や、担当者の判断への影響は測定されていない。
出典
元のタイトル・要旨を確認する（英語）
The T12 System for AudioMOS Challenge 2025: Audio Aesthetics Score Prediction System Using KAN- and VERSA-based Models
We propose an audio aesthetics score (AES) prediction system by CyberAgent (AESCA) for AudioMOS Challenge 2025 (AMC25) Track 2. The AESCA comprises a Kolmogorov--Arnold Network (KAN)-based audiobox aesthetics and a predictor from the metric scores using the VERSA toolkit. In the KAN-based predictor, we replaced each multi-layer perceptron layer in the baseline model with a group-rational KAN and trained the model with labeled and pseudo-labeled audio samples. The VERSA-based predictor was designed as a regression model using extreme gradient boosting, incorporating outputs from existing metrics. Both the KAN- and VERSA-based models predicted the AES, including the four evaluation axes. The final AES values were calculated using an ensemble model that combined four KAN-based models and a VERSA-based model. Our proposed T12 system yielded the best correlations among the submitted systems, in three axes at the utterance level, two axes at the system level, and the overall average. We also released the inference model of the proposed KAN-based predictor (KAN #1-#4).
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01