アーカイブ / Audio
動画の音声と題名を組み合わせ、同じ楽曲のカバー演奏を探す
Online Cover Song Identification
Online Cover Song Identificationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example of the input of items of the work “Yesterday” written by John Lennon and Paul McCartney. Colors in the box frames and text indicate the data source: blue stands for Secondhandsongs and red for YouTube .
概要
- 音声と投稿者作成の文字情報から別々に類似度を計算し、LambdaMARTでカバー候補の順位を決める。
- 著者らのV-DaTでの評価では、CoverHunter単独のMAP 0.84、MR1 15.71が、S-BERTとの統合で0.93、3.00になった。
- 採用した文字入力の構成では題名以外にだけ書かれた曲名を拾えず、紛らわしい題名への対応も導入先で検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Online Cover Song Identificationの仕組み
- 01検索元と候補の動画
- 02音声と文字の類似度
- 03LambdaMARTで統合
- 04カバー候補の順位
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、動画サイトで同じ楽曲のカバー演奏を探す。YouTubeは楽曲ではなく動画を単位として整理されるため、原曲と別の演奏を結び付けて検索するのは容易ではない。
従来のカバー曲検索は主に音声を比べ、音色が違っても同じ楽曲かを判断する。一方、動画には曲名や演奏者名を示す投稿者作成の情報もある。著者らは、その文字情報を音声とともに検索順位へ反映させる。
手法
入力は検索元と候補の動画で、著者らは１動画に１曲が含まれると仮定する。各動画の音声に加え、題名、チャンネル名、説明文、キーワードを扱う。音声モデルは録音同士の近さを計算し、文字情報のモデルは、たとえば検索元の曲名「Yesterday」と候補の動画題名の対応を調べる。
文字情報には、表記の近さを測るあいまい一致、文章を数値の列に変えて比べるS-BERT、情報の組が一致する確信度を出すDittoを試した。前二者で採用した入力は曲名と動画題名で、Dittoにはより多くの属性を与える。最後に順位付けモデルのLambdaMARTが音声と文字の類似度を受け取り、候補動画を並べる。
新規性
著者らは、オンライン動画のカバー曲検索で、投稿者が書いた情報と音声を組み合わせる手法を提案した。音声モデルと文字情報の照合モデルが出す類似度を、順位付けモデルに渡す構成である。
検索する単位は動画だが、正解とするのは同じ楽曲に属する動画である。題名の表記違いや、曲名と同じ語を別の意味で使う題名についても、文字情報の手法の振る舞いを調べている。
従来手法との違い
比較対象は音声だけで類似度を計算するCQTNetとCoverHunterである。提案手法では、各音声モデルに文字情報の照合結果を加え、LambdaMARTで候補の順位を決める。文字情報には、あいまい一致、S-BERT、Dittoを試した。
著者らのV-SHS-Tでの評価では、CoverHunter単独のMAPは0.92、あいまい一致との統合は0.90、S-BERTとの統合は0.93だった。文字情報を加える効果は、照合方法と評価条件によって異なる。
実験結果
著者らはSHS100KとDaTacosから視聴可能な動画を残したV-SHS-T、V-DaTで、音声モデル単独と統合手法を比較した。指標はMAP（検索ごとの適合候補の順位を踏まえた平均適合率）とMR1（最初の適合候補の平均順位）である。
V-DaTでは、CoverHunter単独のMAP 0.84、MR1 15.71に対し、S-BERTとの統合は0.93、3.00だった。著者らは別に、12楽曲それぞれへ紛らわしい生成題名を５件加えたV-SHS-T-Noiseで文字情報の手法を評価した。ここでのMAPはあいまい一致が0.38、S-BERTが0.53だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：楽曲の権利確認を行う担当者が、確認したい動画を指定し、同じ楽曲を演奏している可能性がある動画を順位付きで受け取る。検索元と候補の音声、動画題名などを照合し、上位候補を担当者が視聴して判断する。
試行には対象動画の音声と投稿者作成の情報、学習と評価に使う同一楽曲の識別子または確認済みの動画組ラベルが要る。追加のセンサーは想定しない。日本語の題名や権利確認業務への適合は、この用途で別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象動画の音声、題名、チャンネル名、説明文、キーワードを集める。同一楽曲を示す識別子か、同じ楽曲かどうかを確認した動画組ラベルを用意し、学習用と評価用に分ける。追加のセンサーは使わず、対象言語での題名表記と情報の欠損を確認して照合方法を調整する。
音声モデル単独を基準に、文字情報を加えた順位と比較する。分けておいた動画でMAPとMR1を測り、曲名が題名以外にしかない例や、曲名の語を別の意味で使う題名も点検する。上位の誤候補を担当者が確認できるかも採用判断に含める。
限界と課題
著者らが明示する制約は、採用したS-BERTとあいまい一致の入力構成では、動画題名にある曲名しか検出できないことだ。曲名が説明文やキーワードだけにある動画、参照曲と題名が大きく異なるパロディーやメドレーは、文字情報の手法では見つけられない。
著者らは、曲名の語を別の文脈で使った紛らわしい題名が、文字情報の手法の頑健性を損なうとも述べる。編集上の検証事項は、導入先で曲名がどの欄に書かれるか、複数曲を含む動画をどう扱うか、上位の誤候補を人が確認できるかである。
出典
元のタイトル・要旨を確認する（英語）
Leveraging User-Generated Metadata of Online Videos for Cover Song Identification
YouTube is a rich source of cover songs. Since the platform itself is organized in terms of videos rather than songs, the retrieval of covers is not trivial. The field of cover song identification addresses this problem and provides approaches that usually rely on audio content. However, including the user-generated video metadata available on YouTube promises improved identification results. In this paper, we propose a multi-modal approach for cover song identification on online video platforms. We combine the entity resolution models with audio-based approaches using a ranking model. Our findings implicate that leveraging user-generated metadata can stabilize cover song identification performance on YouTube.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01