アーカイブ / Audio / LLM
曲名やアーティスト名を手掛かりに探す音楽検索「TTMR++」
TTMR++
TTMR++の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An illustration of text-to-music retrieval scenario with content, track, and artist queries.
概要
- TTMR++は、タグから作る説明文と曲名・アーティスト名などを使い、文章と楽曲音声を対応付ける。
- 類似アーティストの関係を楽曲に結び付け、固有名詞を含む類似曲検索を学習する。
- 著者らの評価では複数の指標が向上した一方、類似関係文の追加後にSong DescriberのRecall@10は下がった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TTMR++の仕組み
- 01楽曲音声・タグ・名前
- 02説明文と類似文を作成
- 03音声と文章を対応学習
- 04質問文から楽曲を検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TTMR++は、文章を入力して楽曲を探す手法である。「明るいピアノ曲」のように音を説明する質問に加え、利用者は曲名やアーティスト名を挙げて似た曲を求めることもある。
後者にはジャンルや楽器の情報だけでなく、楽曲を特定する名前とアーティスト間の関係が必要になる。大量の楽曲を扱う検索では、異なる種類の質問を一つの仕組みで扱えるかが実用上の焦点となる。
手法
まず、タグを入力として、追加学習した大規模言語モデルで楽曲の説明文を作る。曲名・アーティスト名・アルバム名は定型文に入れる。例えばStevie WonderとHerbie Hancockが似ているという関係を、前者の楽曲Superstitionと後者の名前を結ぶ学習文に変える。
次に、音声と文章をそれぞれ数値の並びである「埋め込み」に変換する。対応する組を近づけ、ほかの組を離す「対照学習」で両者を対応付ける。検索時は質問文に近い音声を持つ曲を候補として返す。著者らの実験では、音声の入力区間は10秒で、周波数ごとの特徴に変換して使った。
新規性
TTMR++の新しい点は、楽曲タグから生成した説明文に、曲名・アルバム名・アーティスト名と、アーティスト間の類似関係から作る文章を加えたことにある。音の特徴を述べる質問と、固有名詞を含む質問を一つの検索モデルで扱う設計だ。
著者らは、似たアーティストの関係を楽曲にも結び付け、「このアーティストに似た曲」を探すための学習文を作った。複数の既存データを統合し、最終構成では約130万件の音声と文章の組を学習に用いた。
従来手法との違い
比較対象のTTMRは主に楽曲タグで学習し、CLAP-Fusionは一般音声を含むデータで学習した音声・文章検索モデルである。TTMR++の表中の基準モデルは、TTMRを拡張して複数データの共同学習などを取り入れているため、元のTTMRと同一条件ではない。
著者らはこの基準モデルに、生成した説明文、曲名などのメタデータ、類似アーティストを表す文章を順に加えた。結果表の各行は変更を累積し、後半では学習データ量も増える。最終行と既存モデルとの差を、一つの追加要素だけの効果とは解釈できない。
実験結果
著者らは、MusicCaps-evalとSong Describerで、正解曲が上位10件に入る割合を示すRecall@10と、タグ検索のROCAUCを測った。曲同士の類似性はDimSimの三つ組で選択の正答率を、アーティストの類似性はOLGAで順位の適切さを示すnDCG@200を評価した。
表では、TTMR++のタグ連結基準モデルから最終構成への変化は、MusicCaps-evalのRecall@10が13.6から29.2、DimSimの正答率が0.570から0.669、OLGAのnDCG@200が0.010から0.187だった。一方、類似アーティスト文の追加直前と比べ、Song DescriberのRecall@10は38.9から38.3に下がった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：楽曲ライブラリーの担当者が「Superstitionに似た曲」のような文章を入力し、候補曲の順位付き一覧を受け取って試聴する検索窓を試す。採用する曲は担当者が決め、検索結果を選曲の手掛かりとして使う。
対象ライブラリーには学習・検索に使える音声と、曲名・アルバム名・アーティスト名が要る。説明文を生成するならタグ、類似アーティスト検索を調整するなら関係ラベルも必要だ。追加の収録用センサーは想定せず、手元の表記や関係データに合わせて学習文と検索文を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象楽曲の音声と曲名・アーティスト名・アルバム名を集め、タグと類似アーティストの関係ラベルがどれだけあるか記録する。追加の収録用センサーは使わず、保存済み音声を用いる。欠落や表記揺れを確認し、対象データに合わせて学習文の定型表現を調整する。
音の説明、曲名を含む質問、似た曲を求める質問を用意し、担当者が適切な候補に印を付ける。既存検索を基準に、質問の種類別に正解が上位10件に入る割合と、試聴して選ぶまでの時間を比べ、使える範囲を判断する。
限界と課題
著者らは、学習データにテンポや調性などの中間的な音楽情報が欠けることを今後の課題として挙げる。また、対応する音声と文章を近づける対照学習には、複数の曲と文章が互いに対応する関係を十分に表しにくい可能性があると述べる。
編集上の検証事項として、アーティスト間の類似関係が利用者の考える「似た曲」と一致するかを確かめたい。対象ライブラリーで曲名が重複する場合やメタデータが欠ける場合の品質も、報告された評価値だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Enriching Music Descriptions with a Finetuned-LLM and Metadata for Text-to-Music Retrieval
Text-to-Music Retrieval, finding music based on a given natural language query, plays a pivotal role in content discovery within extensive music databases. To address this challenge, prior research has predominantly focused on a joint embedding of music audio and text, utilizing it to retrieve music tracks that exactly match descriptive queries related to musical attributes (i.e. genre, instrument) and contextual elements (i.e. mood, theme). However, users also articulate a need to explore music that shares similarities with their favorite tracks or artists, such as \textit{I need a similar track to Superstition by Stevie Wonder}. To address these concerns, this paper proposes an improved Text-to-Music Retrieval model, denoted as TTMR++, which utilizes rich text descriptions generated with a finetuned large language model and metadata. To accomplish this, we obtained various types of seed text from several existing music tag and caption datasets and a knowledge graph dataset of artists and tracks. The experimental results show the effectiveness of TTMR++ in comparison to state-of-the-art music-text joint embedding models through a comprehensive evaluation involving various musical text queries.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01