アーカイブ / Audio / LLM
曲の説明文から音声の類似性を学ぶ「CrossMuSim」
CrossMuSim
CrossMuSimの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Overview of the proposed CrossMuSim framework. (a) Dual-source data acquisition module combining online scraping and LLM-based prompting for textual description generation, (b) Music similarity modeling utilizing cross-modal contrastive learning framework with text-music pairs, and (c) Inference phase for music similarity retrieval using audio modality.
概要
- 曲の音声と説明文を対応付けて学習し、検索時は音声から類似曲を探す。
- 説明文はオンラインで収集するほか、曲名とアーティスト名を基にLLMでも生成する。
- 著者らの音楽同士の検索評価では、細分類mAP@100がGPT-4o-mini版58.72、MTT 50.59だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CrossMuSimの仕組み
- 01曲の音声・識別情報
- 02説明文の収集・生成
- 03音声と文章の対照学習
- 04音声で類似曲検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CrossMuSimは、ある曲を手がかりに似た曲を探す方法である。曲数の多い配信サービスでは、推薦やプレイリスト作成に使う候補を絞るため、どの特徴を「似ている」と扱うかが重要になる。
従来の方法には、ジャンルなどの分類を比べるものや、音声から得た特徴を比べるものがある。著者らは、決まった分類や音声だけを使う学習では複雑な音楽的関係を捉えにくいと考えた。ただし、曲に合った詳しい説明文は集めにくい。
手法
中国語の音楽百科事典から曲の記述を集め、別途、曲名とアーティスト名をLLM（文章を生成する大規模言語モデル）に渡して説明文を作る。長い説明文から、ジャンルや雰囲気などを短く表す特徴語句も抽出する。学習では文章を音声の10秒間の部分と組にし、長い説明文と短い特徴語句をそれぞれ学習例として扱える。
文章用と音声用のモデルが、それぞれの入力を数値の並びである「埋め込み」に変換する。対応する文章と音声が近くなるよう学ぶ「クロスモーダル対照学習」を使い、例えば歌声や楽器を述べた文を、その曲の音声に結び付ける。検索時は曲の音声を10秒ごとに処理して表現をまとめ、基準曲に近い候補曲を返す。
新規性
曲と自由な説明文の対応を学習に使い、検索時には音声だけから類似曲を探す。著者らは、決められた分類を学習目標にする方式では表しにくい音楽的な関係を、文章で捉える方法として提案している。
説明文が不足する問題には、オンライン収集と、曲名・アーティスト名を手がかりにしたLLMによる生成を組み合わせる。長い説明文から短い特徴語句も抽出し、学習に利用する。
従来手法との違い
比較対象は、音声表現を使うCLMR、MERT-v0、MTT、既存のWiKiT2M、ランダム検索である。CrossMuSimは、曲の音声と説明文を対応付けて学ぶ点が異なる。各方式の学習データや目的は同一ではない。
同じ音楽同士の検索評価で、MTTの細分類mAP@100は50.59、説明文と短い特徴語句を使うCrossMuSimのGPT-4o-mini版は58.72だった。一方、大分類ではそれぞれ47.33と47.99で、差の大きさは評価する分類によって異なる。
実験結果
著者らは、音楽家が手動でラベルを付けた社内の楽曲群から5万曲を無作為に選び、タグを共有する曲を正解として音楽同士の検索を評価した。上位100件の正解の順位を考慮するmAP@100で、GPT-4o-mini版は大分類47.99、細分類58.72、MTTはそれぞれ47.33、50.59だった。
専門音楽家10人が検索候補を評価した平均MOSは、同版4.16、MTT 1.84だった。Huawei Musicの個別プレイリスト機能における1週間のA/B試験では、WiKiT2Mを基準に、同版の再生回数が6.20％、利用端末の到達範囲が1.47％増えたと著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：配信サービスのプレイリスト担当者が、基準曲に近い候補を探す場面で試す。入力は基準曲と候補曲群の音声、出力は類似度順の候補とし、担当者が聴いて採否を決める。
学習用には曲の音声と対応する説明文を集め、不足分を生成する場合は曲名とアーティスト名を使う。評価にはジャンル・雰囲気などの確認済みラベルと人による判断を別に用意する。追加センサーは想定せず、対象曲群に合わせて説明文の内容と検索順位を点検する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象曲の音声、曲名、アーティスト名をそろえ、対応する学習用説明文を収集または生成する。評価用には担当者が確認したジャンル・雰囲気などのラベルと、候補を聴いて類似性を判断できる曲群を分けて用意する。音声以外のセンサーは想定しない。
対象曲群に合わせて説明文を点検してから学習し、既存の音声検索を比較基準にする。上位100件のmAP、担当者の評価、同じアーティストに候補が集中する割合を測る。運用試験では再生回数と利用端末の到達範囲を別々に確認する。
限界と課題
著者らは、大分類の「利用場面」ではMTTより検索性能が下がったと報告する。また、5,300件の検索のうち42.23％で上位100曲に同じアーティストの曲が入り、説明文中の名前を隠しても41.94％への小幅な低下にとどまった。
編集上の検証事項は、曲名から生成した説明が実際の音源と合うか、対象の言語やジャンルで候補が偏らないか、同じアーティストへの集中が実務上許容できるかである。1週間の運用試験で見られた変化が別の曲群や期間でも続くかは、確認が必要になる。
出典
元のタイトル・要旨を確認する（英語）
CrossMuSim: A Cross-Modal Framework for Music Similarity Retrieval with LLM-Powered Text Description Sourcing and Mining
Music similarity retrieval is fundamental for managing and exploring relevant content from large collections in streaming platforms. This paper presents a novel cross-modal contrastive learning framework that leverages the open-ended nature of text descriptions to guide music similarity modeling, addressing the limitations of traditional uni-modal approaches in capturing complex musical relationships. To overcome the scarcity of high-quality text-music paired data, this paper introduces a dual-source data acquisition approach combining online scraping and LLM-based prompting, where carefully designed prompts leverage LLMs' comprehensive music knowledge to generate contextually rich descriptions. Exten1sive experiments demonstrate that the proposed framework achieves significant performance improvements over existing benchmarks through objective metrics, subjective evaluations, and real-world A/B testing on the Huawei Music streaming platform.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01