アーカイブ / Audio
歌詞だけでは測れない音楽理解を12課題で調べるBASS
BASS
BASSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Overview of the tasks included in BASS Benchmark, designed to evaluate audio LMs on musical understanding requiring long-term structure or hierarchical reasoning. It contains twelve tasks across four categories: structural segmentation, structural lyrics transcription, musicological analysis, and artist collaboration.
概要
- BASSは音楽の構造、歌詞、音楽的属性、複数歌手の役割を12課題で評価する。
- 1,993曲、計138時間超に基づく2,658問で14モデルを調べ、正規化後の平均成績はすべて30%未満だった。
- モデルは歌詞課題に相対的に強く、歌手の役割や時間的位置を問う課題で苦戦した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、BASSの仕組み
- 01楽曲音声と質問
- 0212課題から問いを提示
- 03モデルの回答を採点
- 04課題別の成績
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音楽を検索したり曲の一部を指定したりするには、歌詞だけでなく、サビの位置、楽器の特徴、誰がいつ歌うかを知る必要がある。音声を扱う言語モデルが文章で答えられても、曲全体の時間的な構造まで理解しているとは限らない。
そこでBASSは、音楽について実際に尋ねられそうな質問を集め、得意な問いと苦手な問いを分けて測る。導入候補のモデルを用途別に選ぶ際の判断材料になる。
手法
BASSは1,993曲、計138時間超から2,658問を作り、12課題を四群に整理する。曲の構造分割ではイントロやサビの開始・終了時刻を求め、歌詞課題では区間ごとの言葉を書き起こさせる。音楽的な属性の課題では、たとえば楽器やリズムの特徴を選ばせる。「属性」は曲の中でどの特徴がどれほど目立つかを表す項目だ。
複数歌手の課題では、歌手の人数、歌っている長さ、最初の登場時刻、区間ごとの役割を問う。モデルには音声ファイルと文章の質問を渡し、返った文章を正解と比べる。区間の重なり、歌詞の単語誤り、完全一致など、問いの性質に応じて採点方法を変える。
新規性
BASSの特徴は、歌詞の書き起こしに加え、曲の区間構造、音楽的な属性、複数歌手の役割と登場時刻を一つの評価枠組みに収めたことだ。長い曲のどの時点で何が起きるかも問う。
回答形式は自由記述と選択式を使い分ける。選択式の一部は候補を八つに増やし、偶然の正解だけで高得点になりにくい設計としている。
従来手法との違い
著者らによれば、従来の音楽評価には曲の説明文や歌詞を中心とするものが多い。MuChoMusicは主に約2分の曲を使い、選択式に依存するため、長い時間にわたる構造や歌手の交代を測る範囲が限られる。
BASSは曲全体の区間開始・終了時刻や、複数歌手の出現時間まで問う。これは新しい音楽生成モデルの比較ではなく、既存の音声言語モデルが何を聞き取れているかを細かく調べる評価基盤である。
実験結果
著者らは音声を扱う14モデルをBASSで評価した。表に示す正規化後の平均成績は、Gemini 2.5 Proが26.54%、Qwen3-Omniが23.61%、Step-Audio-R1が22.24%で、全モデルが30%未満だった。正規化は、選択肢を当てる偶然の正解率や、歌詞の誤り率との違いを調整する処理である。
課題別では歌詞の書き起こしが相対的に高く、複数歌手の協働を問う課題が低かった。構造分割は正解区間との重なり、歌詞は単語誤り率、人数や時刻などは完全一致で評価し、時刻と長さには±3秒の許容幅を設けた。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：音楽カタログの検索機能を作る前に、候補の音声言語モデルへ楽曲音声と「二番のサビの開始時刻」「ラップが入る区間」などの質問を渡す。出力は時刻や歌手の役割を含む検索用の下書きメタデータにする。
人手で確認した時刻付きの正解と照合し、正しい項目だけを検索索引へ採用する。歌詞の文字起こしが良好でも、区間や歌手の識別を別に点検する運用が適している。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際に検索対象とする曲から、曲調と長さの異なる小さな集合を選ぶ。人手でサビの時刻、歌手の交代、必要な音楽的属性を記録し、候補モデルへ同じ音声と質問を渡す。
基準は人手で作った索引とし、区間の重なり、歌手数の一致、時刻の±3秒以内の正答率を分けて測る。歌詞だけで判断せず、誤りが出た曲の長さや後半の区間に偏りがあるかも確認する。
限界と課題
著者らの評価では、モデルは歌詞の書き起こしに比較的強く、歌手間の役割や登場時刻を扱う課題で弱かった。Whisperの書き起こし結果を補助入力にすると、調べた構造付き歌詞課題では成績が下がる例も報告している。
編集上の検証課題は、対象カタログの曲調や長さで同じ傾向が出るか、時刻の誤差が利用者の検索体験にどう響くかである。音源配布ではなく動画リンクを使う設計のため、継続利用時の参照可能性も確認したい。
出典
元のタイトル・要旨を確認する（英語）
BASS: Benchmarking Audio LMs for Musical Structure and Semantic Reasoning
Music understanding is a complex task that often requires reasoning over both structural and semantic elements of audio. We introduce BASS, designed to evaluate music understanding and reasoning in audio language models across four broad categories: structural segmentation, lyric transcription, musicological analysis, and artist collaboration. BASS comprises 2658 questions spanning 12 tasks, 1993 unique songs and covering over 138 hours of music from a wide range of genres and tracks, crafted to assess musicological knowledge and reasoning in real-world scenarios. We evaluate 14 open-source and frontier multimodal LMs, finding that even state-of-the-art models struggle on higher-level reasoning tasks such as structural segmentation and artist collaboration, while performing best on lyric transcription. Our analysis reveals that current models leverage linguistic priors effectively but remain limited in reasoning over musical structure, vocal, and musicological attributes. BASS provides an evaluation framework with widespread applications in music recommendation and search and has the potential to guide the development of audio LMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29