アーカイブ / Audio
音声モデルの中間層で楽曲ジャンルを分類：GTzanでASTと比較
Music Genre Classification using Large Language Models
Music Genre Classification using Large Language Modelsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: An overview of the proposed approach. The input audio signal is split into 20 ms segments with 25 ms stride. Adapted from [ 28 ] .
概要
- 音声で事前学習したモデル本体を固定し、ラベル付き楽曲で分類器を学習して区間別予測を曲単位に集約する。
- 著者らのGTzan・3分割交差検証では、曲単位の平均正解率はASTが85.500％、音声モデル中の最高はWavLM Largeが84.600％だった。
- GTzanのデータ品質とジャンルの偏りに加え、原文内で食い違う区間設定を確認してから再現・導入を検討する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Music Genre Classification using Large Language Modelsの仕組み
- 01楽曲の音声
- 02音声モデルで特徴抽出
- 03区間のジャンル予測
- 04曲単位に集約
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
楽曲のジャンルを自動で付けられれば、音楽ライブラリの整理や検索に利用できる。ただしジャンルは音だけで明確に区切れず、人や文化によって判断も異なる。著者らは、音声向けに学習されたモデルの特徴が、この分類に役立つかを調べた。
音楽情報検索とは、音源や曲に関する情報を分析し、目的の曲を探しやすくする分野を指す。本研究では、曲の短い区間から得た判定を曲全体のジャンルへまとめるため、特徴を取り出す層と集約後の精度の両方が問題になる。
手法
楽曲の音声を16,000ヘルツにそろえ、事前学習済みのWavLM、HuBERT、wav2vec 2.0から短い区間ごとの特徴ベクトルを取り出す。特徴ベクトルは音の性質を数値の列にしたもの。モデル本体は固定し、中間層と最終層のどの表現が分類に向くかを調べる。本文の主な説明では、25ミリ秒の窓を20ミリ秒ごとに進める。
ジャンル名付きの学習曲では、曲のラベルを各区間にも割り当て、特徴からジャンルを予測する分類器を学習する。新しい曲では区間ごとの予測を多数決などで集約し、曲の判定を出す。例えばジャズと付いた曲の特徴で分類器を学習し、未登録曲の区間別予測をまとめて候補を出す。
新規性
著者らが示す新規性は、音声で事前学習したWavLM、HuBERT、wav2vec 2.0を楽曲に適用し、ジャンル分類に使える層を調べた点にある。モデル本体は音楽データで追加学習せず、各層から取り出した特徴を比較する。
曲の短い区間を判定してから曲全体へ集約する構成で、音声モデルの比較基準を示した。ただし「ゼロショット」はモデル本体についての呼び方であり、ジャンルを出す分類器にはラベル付き楽曲を使う。
従来手法との違い
比較対象には、波形などを扱う1次元CNN、時間と周波数の表現を扱う2次元CNN、音声スペクトログラム変換器のASTが含まれる。論文ではCNNを全体として学習し、ASTと音声モデルは事前学習済みの表現を使う設定としている。
GTzanの3分割交差検証で、曲全体の平均正解率はASTの第12層が85.500％、音声モデル中の最高はWavLM Largeの第11層が84.600％だった。順位はこのデータと評価条件に限られ、別の楽曲集での優劣は示していない。
実験結果
著者らはGTzanの30秒音源1,000件、10ジャンルを使用した。元の22,050ヘルツの音源を16,000ヘルツに変換し、約334件、333件、333件の3組に分けて3分割交差検証を行った。表には区間別と曲全体へ集約後の平均正解率と標準偏差が示されている。
著者らの曲単位の結果は、AST第12層が85.500％±1.840、WavLM Large第11層が84.600％±2.135で、この比較では前者が最高だった。WavLM Large第5層は区間別で75.506％±1.716と同モデルの最高値だが、曲単位で最高の層とは異なる。数値はこの分割と集約条件での報告値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の楽曲カタログにジャンル候補を付け、担当者の確認画面へ送る。入力は分類対象の音源ファイル、出力は曲ごとの候補と修正可能な一覧とする。追加センサーは想定せず、既存の音源を使う。
事前学習済み音声モデルを特徴抽出に使い、社内の分類基準でジャンル名を付けた学習用楽曲から分類器を作る。新着曲の区間別予測を曲単位にまとめ、人が結果を確認する運用を試す。社内のラベル体系への適応と有効性は別途検証が必要である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象カタログからジャンル名付き音源を集め、曲単位で学習用と評価用に分ける。必要な入力は音源ファイルと正解ジャンルで、追加センサーは想定しない。音声で事前学習したモデルを特徴抽出に使い、自社のジャンル体系に合わせて分類器を学習する。
同じ評価曲と分類基準で、既存のジャンル付与結果を基準にASTとWavLMの曲単位正解率を比較する。ジャンル別の取り違えと担当者による修正率も記録し、録音状態が異なる曲を分けて確認する。GTzanでの正解率を導入先の達成値として扱わない。
限界と課題
著者らは、GTzanに重複、誤ったラベル、音のひずみがあり、ジャンルの種類も限られると述べる。録音条件やデータの偏りは別の楽曲集への一般化に影響しうる。また、音声モデル本体を音楽向けに追加学習していないことを手法上の限界としている。
編集上の検証事項：前処理の時間設定には記述の食い違いがある。本文は25ミリ秒の窓を20ミリ秒ごとに進めるとする一方、図の説明は20ミリ秒の区間と25ミリ秒のずらし幅を記し、別の本文箇所には25ミリ秒の窓と48ミリ秒の重なりが併記される。再現時は実際の設定を確認したい。
出典
元のタイトル・要旨を確認する（英語）
Music Genre Classification using Large Language Models
This paper exploits the zero-shot capabilities of pre-trained large language models (LLMs) for music genre classification. The proposed approach splits audio signals into 20 ms chunks and processes them through convolutional feature encoders, a transformer encoder, and additional layers for coding audio units and generating feature vectors. The extracted feature vectors are used to train a classification head. During inference, predictions on individual chunks are aggregated for a final genre classification. We conducted a comprehensive comparison of LLMs, including WavLM, HuBERT, and wav2vec 2.0, with traditional deep learning architectures like 1D and 2D convolutional neural networks (CNNs) and the audio spectrogram transformer (AST). Our findings demonstrate the superior performance of the AST model, achieving an overall accuracy of 85.5%, surpassing all other models evaluated. These results highlight the potential of LLMs and transformer-based architectures for advancing music information retrieval tasks, even in zero-shot scenarios.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01