新着研究 / Audio
曲・区間・分離音の出自を先に指定、STEMMAが複数音源の関係理解を学習
STEMMA
STEMMAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the proposed relation-first generation pipeline. Hierarchical music units are indexed by structural and musical-attribute relations. A relation is stated over catalog fields, and the tuples that satisfy or violate it are retrieved by query before being rendered as multi-audio instructions.
概要
- 同じ曲や区間に由来する音源の関係から問題を作り、正解をカタログの出自情報で決める。
- Music Flamingoの構造関係の正解率は追加学習で22.05%から81.89%へ上昇した。
- 調やテンポなどの属性比較には難しさが残り、出自判定の改善と区別して評価する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、STEMMAの仕組み
- 01曲と分離音の台帳
- 02関係条件の指定
- 03正例と難しい負例
- 04複数音源の質問応答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
STEMMAは、複数の音源を聞き比べ、同じ曲の一部か、ある伴奏がどの混合音に含まれるかを判断するための枠組みだ。音楽編集や素材検索では、一つの録音を説明する能力に加えて、音源どうしの関係を捉える能力が必要になる。
既存の音声言語モデルや質問応答データは単一録音を扱うことが多い。別々に選んだ曲の比較でも、制作上の出自が分からなければ、曲の区間と分離された楽器音との対応を問う問題を作りにくい。
手法
まず曲を区間へ分け、各区間の混合音とステムを台帳に登録する。ステムはボーカルやドラムなどの役割ごとに分離した音だ。曲ID、区間、役割、テンポなどを記録し、音を無作為に選ぶ前に、問いたい関係を指定する。
例えば同じ区間の別の楽器音を探す問題では、歌声を基準に、同一区間のドラムを正例、同じ曲の別区間のドラムを難しい誤答として検索する。SQLで候補と正解位置を決め、二音源の判定や四候補からの選択問題へ変換する。正解は文章生成モデルの判断に依存しない。
新規性
中心となる工夫は、音を選んでから関係を付ける順序を逆転させた点だ。曲、区間、ステムの階層を条件として、必要な組み合わせを直接取り出す。偶然同じ曲が選ばれるのを待つ無駄も減らせる。
関係を問う学習と、説明がどの入力音を指すかを保つ学習を組み合わせる。複数入力を区別することと、その間の関係を理解することを別の学習要素として扱っている。
従来手法との違い
比較には、音源を直接受け取るモデルと、音源ごとに説明文を作ってQwen3.6へ渡す段階式のシステムが含まれる。文章で要約してから比較すると、同じ制作物に由来する細かな対応が落ちる可能性がある。
構造関係では追加学習したモデルが強い一方、独立した曲を比較するJamendo-MT-QAでは説明文を使う方式が最高値だった。直接音を比較すれば常に優れるという結果ではない。
実験結果
著者らは194,544件の学習例を作り、Music FlamingoとMOSS-Musicを追加学習した。評価用STEMMA-Benchは別の音楽コーパスから作った300問で、構造関係127問と音楽属性173問に分かれる。
Music Flamingoの構造関係の正解率は0.2205から0.8189へ上昇し、最良の段階式システムは0.5039だった。一方、属性関係の最高値は0.3526で、四択の偶然水準0.25との差は小さい。両モデルで単一音源の評価能力も維持されたと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：音楽制作会社の素材整理で、元の曲や区間が不明になった短い音源の照合候補を提示する。入力は確認したいステムと台帳内の候補音、出力は同じ区間に属する候補の順位とする。
制作履歴が残る音源で学習例を作り、候補を人が試聴して確定する流れが考えられる。曲調の推薦まで一度に広げず、混合音と部品音の対応確認という具体的な作業に対象を絞る。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：曲IDと区間情報が確実な小規模素材集を用意し、曲単位で学習用と評価用を分ける。同じ曲の別区間を誤答に含め、単に音色が似ているだけで正解できない問題を作る。
基準には追加学習前の直接判定と、個別説明文を介した判定を置く。構造別の正解率、回答形式の失敗率、人の確認時間を測る。単一音源の説明精度も並行して調べ、複数音源への適応で既存業務が悪化しないか確認する。
限界と課題
著者らは、わずかなテンポ差や調、共有タグの比較が難しく、音源説明や台帳を作る音楽解析の推定に情報が失われる可能性を挙げる。その原因は未解決で、構造関係の改善を音楽理解全般へ広げて解釈できない。
編集上の検証課題は、実素材の分離誤差、区間境界のずれ、候補数の増加に対する耐性だ。出自情報が正確な評価で得た精度が、履歴の欠けた素材整理でも保たれるかを別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
STEMMA: Song-to-Stem Multi-Audio Reasoning for Large Audio Language Models
Music understanding often requires comparing excerpts and reasoning about relationships among songs, sections, and stems. However, existing large audio-language models (LALMs) and music question-answering datasets typically operate on single recordings or compare independently sampled tracks with no known production relationship. We introduce STEMMA, a multi-audio music question-answering framework built around production provenance: whether excerpts originate from the same track or section, and which stems belong to which mixtures. Because such relations are sparse under conventional audio-first sampling, STEMMA adopts a relation-first construction strategy: it first specifies a target relation and then queries the catalog for excerpts that satisfy it and hard negatives that do not. Labels are determined directly from catalog provenance rather than generated by a language model from metadata. We build STEMMA-Bench for evaluation and a track-disjoint training set, STEMMA-Instruct. Fine-tuning two LALMs on STEMMA-Instruct improves multi-audio reasoning, with the largest gains on structural relations directly determined by the catalog, while preserving single-audio music understanding.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-10