アーカイブ / Audio
MIDIの音符を少し乱して学ぶM2BERT、旋律抽出など12課題で検証
M2BERT
M2BERTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : An overview of the proposed method.
概要
- 一部の音符属性を限られた範囲で乱して復元し、小節内の音の配置も予測する事前学習法。
- 著者らの同じM2BERT・Reducedデータでの比較では、POP909の旋律抽出の音符単位正解率が0.975から0.982になった。
- 改善は12課題で一様ではなく、導入時には対象曲のラベル付きデータで精度と小節位置の信頼性を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、M2BERTの仕組み
- 01MIDI音符・小節開始
- 02音符属性を限定撹乱
- 03音符ごとの特徴を生成
- 04元音符・音配置を予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
M2BERTは、MIDIのように音符を記号で表した曲から、旋律や和音に関する情報を読み取るためのモデルである。MIDIは録音波形ではなく、音の開始時刻・高さ・長さなどを記録する。音符ごとの詳しい正解ラベルは、専門家による作業が必要になりやすい。
そこで、正解ラベルのない曲で先に学ぶ事前学習が使われる。従来の音符を隠して当てる方法だけでは、音高の隔たりや小節内の音の並びを学ぶ目標として十分とは限らない、というのが著者らの問題設定だ。
手法
入力は各音符の開始時刻・音高・長さと、小節の開始時刻である。音符を小節内の位置、音高、長さなどの組に変え、一部の値を限られた範囲で乱して元の値を予測させる。例えば音高を少しずらした音符について、前後の音も手掛かりに元の音高を当てる。この段階では旋律名などの正解ラベルを使わない。
同時に、ピアノロールという「いつ、どの高さの音が鳴るか」を示す表と、音高を12種類の音名にまとめたクロマグラムを予測させる。予測対象は小節全体と各音符の開始位置の二つだ。事前学習後は予測用の部分を分類用に替え、正解ラベル付きの曲で旋律抽出などの課題に合わせて調整する。
新規性
著者らが提案したのは、一部の音符を記号で隠す代わりに、小節内の位置・音高・長さを限られた範囲で乱して元に戻す学習目標である。近い値同士の関係を学ばせる狙いがある。
さらに、各音符から、その音符を含む小節全体と音符の開始位置における音の配置を予測させる。音高の間隔や同時に鳴る音を捉えるための設計だが、課題ごとの効果は評価結果で分けて見る必要がある。
従来手法との違い
従来のMidiBERTは、選んだ音符の多くを特殊な記号で隠し、元の音符を当てる事前学習を使う。M2BERTでは、基盤となるモデルをModernBERTに変え、音符の乱れを直す課題と音の配置を予測する課題を用いる。
MidiBERTとの成績差には、モデル構造の変更も含まれる。学習目標を比べるには、著者らが同じM2BERTとReducedデータで行った比較が適切で、従来の目標、範囲を限らない乱れ、範囲を限る乱れ、音配置予測の追加を順に確認できる。
実験結果
著者らは、旋律抽出、和音の根音推定、ジャンル分類など12の分類課題からなるSMCベンチマークで評価した。事前学習用のReducedデータは489万音符で150エポック、Fullデータは3億5032万音符で25エポック学習した。評価指標は課題ごとに異なる。
同じM2BERT・Reducedデータで従来の学習目標と二つの提案目標を比べると、著者らの表では、POP909の旋律抽出の音符単位正解率が0.975から0.982になった。和音の根音推定では、Chord Symbol Recallが0.825から0.847になった。一方、提案目標による改善は12課題で一様ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：楽譜編集者が、既存のMIDIから旋律に当たる音符を探す補助に使う。入力は各音符の開始時刻・音高・長さと小節開始位置を持つ曲、出力は各音符について「歌の旋律」「楽器の旋律」「伴奏」の候補ラベルとする。
事前学習にはラベルのないMIDI、対象業務への調整には音符ごとに正解ラベルが付いた曲が必要だ。既存ファイルを扱う想定なので追加センサーは要らない。編集者が候補を確認して修正する運用として試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず旋律抽出に対象を絞る。開始時刻・音高・長さ・小節開始位置を取得できるMIDIを集め、ラベルのない曲を事前学習用に、各音符に旋律・伴奏の正解ラベルが付いた曲を調整と評価に使う。既存ファイルを入力とし、追加センサーは使わない。
同じ曲の分割と評価条件で、従来の音符を隠して復元する学習目標を基準に置く。提案目標へ替えた際の音符単位正解率と曲ごとの誤分類数を測る。小節開始位置が不確かな曲や拍子の異なる曲は分けて確認し、編集者の修正対象になる誤りも記録する。
限界と課題
著者らは、提案した学習目標の改善が全課題で一様ではなく、小さいか見られない課題もあると報告している。また、Fullデータでの事前学習は計算資源の制約から25エポックで終了しており、Reducedデータの150エポックとは学習条件が異なる。
編集上の検証事項は、手元のMIDIから小節開始位置を信頼できる形で取得できるか、拍子が異なる小節を一定の長さへ伸縮する処理が判定にどう影響するかである。報告値を別の曲種や編集作業での精度として扱うには、対象データでの確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Improving BERT for Symbolic Music Understanding Using Token Denoising and Pianoroll Prediction
We propose a pre-trained BERT-like model for symbolic music understanding that achieves competitive performance across a wide range of downstream tasks. To achieve this target, we design two novel pre-training objectives, namely token correction and pianoroll prediction. First, we sample a portion of note tokens and corrupt them with a limited amount of noise, and then train the model to denoise the corrupted tokens; second, we also train the model to predict bar-level and local pianoroll-derived representations from the corrupted note tokens. We argue that these objectives guide the model to better learn specific musical knowledge such as pitch intervals. For evaluation, we propose a benchmark that incorporates 12 downstream tasks ranging from chord estimation to symbolic genre classification. Results confirm the effectiveness of the proposed pre-training objectives on downstream tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01