アーカイブ / Audio
英語の歌詞から学び、ポルトガル語の曲に複数のジャンルを付ける
Multi-label Cross-lingual Music Genre Classification with Sentence BERT
概要
- 多言語sBERTで歌詞を曲単位の数値表現に変え、ジャンル別の判定器で複数ラベルを付ける。
- 英語で学習しポルトガル語で試す条件のF1スコアは、表中で単語ベースの0.30±0.06、中心化ありの方式の0.69±0.01だった。
- 試験側の中心化にはジャンル正解ラベルが不要。ただし、文化によるジャンルの違いと特定データ集合への依存が残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-label Cross-lingual Music Genre Classification with Sentence BERTの仕組み
- 01曲の歌詞
- 02文に分割
- 03文の数値化と平均
- 04集合ごとに中心化
- 05ジャンル別判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この方法は、歌詞を読んで曲のジャンルを分類する。ジャンルは楽曲目録の整理や推薦に使えるが、歌詞の語彙に頼る判定器は言語が変わると使いにくく、言語ごとに正解ラベル付きの歌詞を集める負担がある。
著者らが扱うのは、一方の言語で学習して別の言語の歌詞を判定する課題だ。対象データでは一曲が「Pop」と「Rock」の両方に属し得るため、ジャンルを一つだけ選ぶ分類ではラベルを表しきれない。
手法
歌詞を句読点などを手掛かりに文へ分け、事前学習済みの多言語Sentence BERT（sBERT）で各文を数値の並びに変える。この並びを「埋め込み」と呼ぶ。使用モデルが一度に扱える長さは128トークンなので文に分け、各文の埋め込みを平均して一曲を表す。
中心化する場合は、学習側と試験側の曲の埋め込みから、それぞれの集合の平均を差し引く。続いてSVMという判定器をジャンルごとに使い、そのジャンルに当てはまるかを個別に決める。例えば一曲に「Pop」と「Rock」の両方を返せる。
新規性
著者らは、多言語の文を近い数値表現に写すSentence BERTを歌詞分類に使い、一方の言語で学習した判定器を他方の言語に適用した。ジャンルごとに判定器を置くため、一曲に複数のラベルを付けられる。
加えて、学習側と試験側の数値表現から、それぞれの集合の平均を差し引く「中心化」を検証した。試験側のジャンル正解ラベルを使わずに、言語が変わる際の表現のずれを抑える手順である。
従来手法との違い
比較対象は、歌詞を翻訳し、単語の出現に基づくBag-of-Words表現で分類する方式だ。単語の重み付けには、文書中の頻度と集合全体での珍しさを使うTF-IDFを用い、極端に少ない語や多い語などを除いている。
提案方式は翻訳した単語の一覧ではなく、多言語の文の数値表現を使う。著者らは中心化なしと中心化ありも比較した。なお、要旨の基準値0.35と、英語で学習してポルトガル語で試す表中の基準値0.30は一致しないため、方向を指定した結果には表の値を用いる。
実験結果
著者らは、英語とポルトガル語で共通する8ジャンルの歌詞データを評価した。各ジャンル・言語の歌詞を学習80％、試験20％に分け、肯定例と否定例の数を各集合でそろえた。学習内では5分割の交差検証でSVMの設定を選び、分割と再標本化を10回繰り返した。
報告値はジャンル別F1スコアの平均と±2標準偏差である。英語で学習しポルトガル語で試す条件では、Bag-of-Wordsが0.30±0.06、中心化なしのsBERTが0.57±0.03、中心化ありが0.69±0.01だった。逆方向の中心化ありも0.69±0.01と報告されている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語とポルトガル語の楽曲目録で、ポルトガル語の新着曲に複数のジャンル候補を表示し、担当者が確定する。入力は歌詞テキスト、出力は曲ごとの候補ラベルとし、音源や音声センサーは使わない。
英語のジャンル付き歌詞を学習データ、ポルトガル語の未ラベル歌詞を中心化用データとして用意する。両言語で使うジャンル名と付与基準を照合してから判定器を学習し、候補を人が確認する運用を想定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象ジャンルに対応する英語のジャンル付き歌詞を学習用に集め、ポルトガル語の未ラベル歌詞を中心化用に確保する。音声センサーや音源は不要で、歌詞の文分割と曲単位の数値化を行い、ジャンル別の判定器を学習する。
別途、ポルトガル語の一部には担当者が曲単位の正解ラベルを付け、評価用に分けておく。同じ評価集合で単語ベース、中心化なし、中心化ありを比べ、ジャンル別F1スコアと複数ラベルの見落としを確認する。
限界と課題
著者らは、ジャンルの文化的な意味の違いは中心化だけでは解消できず、結果も特定のデータ集合と汎用的な設定に限られると述べる。多言語表現の事前学習に必要な対訳文が乏しい言語にも制約がある。
編集上の検証事項は、収集元や年代が異なる歌詞でも結果が保たれるか、現場のジャンル定義に合うかである。使用データのジャンルは曲自体ではなくアーティストに付いたラベルなので、曲単位の正解として扱えるかも確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Multi-label Cross-lingual automatic music genre classification from lyrics with Sentence BERT
Music genres are shaped by both the stylistic features of songs and the cultural preferences of artists' audiences. Automatic classification of music genres using lyrics can be useful in several applications such as recommendation systems, playlist creation, and library organization. We present a multi-label, cross-lingual genre classification system based on multilingual sentence embeddings generated by sBERT. Using a bilingual Portuguese-English dataset with eight overlapping genres, we demonstrate the system's ability to train on lyrics in one language and predict genres in another. Our approach outperforms the baseline approach of translating lyrics and using a bag-of-words representation, improving the genrewise average F1-Score from 0.35 to 0.69. The classifier uses a one-vs-all architecture, enabling it to assign multiple genre labels to a single lyric. Experimental results reveal that dataset centralization notably improves cross-lingual performance. This approach offers a scalable solution for genre classification across underrepresented languages and cultural domains, advancing the capabilities of music information retrieval systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01