アーカイブ / Audio
発音時刻の小さなずれを距離で扱うピアノ採譜法
Optimal Transport Piano Transcription
Optimal Transport Piano Transcriptionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: The note onsets predicted by the proposed SFT-CRNN model trained with BCE loss or OT loss.
概要
- 発音・離鍵の予測を時間と音高上の分布として扱い、正解との位置のずれと量の差を損失に反映する。
- MAESTROで著者らが報告したSFT-CRNNの発音F1は98.36％、発音・離鍵F1は90.78％だった。
- 離鍵推定は課題として残り、著者らのモデルはサステインペダル事象を明示的には検出していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Optimal Transport Piano Transcriptionの仕組み
- 01ピアノ録音
- 02CQT音響表現
- 03畳み込み・倍音注意
- 04周波数別LSTM
- 05発音・離鍵分布
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この方法は、ピアノ録音から音高と発音・離鍵の時刻を推定する。自動採譜では、録音を時間と周波数に分け、各時刻にどの音が鳴るかを予測してMIDIで扱える音符にする。
従来の時刻ごとの学習では、正解より発音がわずかに遅れただけでも、位置の異なる誤りとして強く扱われる。演奏の揺れや時刻ラベルの小さなずれが学習に影響しうるため、予測と正解の位置関係を反映することが課題となる。
手法
録音をCQTという、音の高さに沿って周波数を区切る時間・周波数表現に変える。SFT-CRNNは畳み込みで周辺の特徴を拾い、注意機構で倍音、つまり基になる音の整数倍付近に現れる周波数の関係を扱う。続いて周波数ごとのLSTM（過去の情報を保ちながら時系列を処理する機構）で変化を追い、発音と離鍵の分布を別々に出す。
学習時には、対応するMIDIの発音・離鍵を時刻と音高の位置に置く。最適輸送とは分布の重みを別の位置へ移す費用を考える方法で、ここでは各予測位置を費用が最小の正解位置に対応づける。同じ音高で発音候補が１フレーム遅れれば、その時刻差に応じた費用を計算し、予測量と正解量の差への罰則も加えて学習する。
新規性
著者らの中心的な提案は、発音・離鍵を時刻ごとの二値判定だけで学習する代わりに、予測と正解を時間・音高上の分布として対応づける損失にある。同じ音高の時刻差を費用にするため、近くにある予測と遠くにある予測を区別できる。
この損失は既存モデルにも適用している。著者らは別途、倍音関係への注意機構と、周波数ごとに時間変化を追う機構を備えたSFT-CRNNも提案した。損失とモデル構造は、それぞれの比較結果に沿って評価する必要がある。
従来手法との違い
従来の比較対象は、各時刻・音高の正誤を個別に計算するBCE（二値交差エントロピー）損失である。発音が正解から１フレームずれると、正解位置での見逃しと隣の位置での誤検出として扱われる。
提案損失は同じ音高の時刻差に応じて費用を与え、遠い時刻差には上限を設ける。異なる音高への対応には大きな費用を置き、予測量と正解量の差にも罰則を加える。同一モデルで損失を替えた比較では、改善幅はモデルによって異なった。
実験結果
著者らは、録音と対応MIDIを含むMAESTROの公式学習・検証・テスト分割で評価した。録音は48 kHzに再標本化して10秒に切り出した。発音は50 ms以内、離鍵は50 msまたは音の長さの20％以内を正解とし、適合率・再現率・F1を測った。
比較表では、SFT-CRNNの発音F1は98.36％で掲載モデル中最高、発音・離鍵F1は90.78％でTranskunの93.48％を下回る。同じSFT-CRNNの損失比較では、BCEの発音F1 97.61％、発音・離鍵F1 88.58％に対し、提案損失はそれぞれ98.36％、90.78％と著者らは報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ピアノ演奏の録音から、譜面作成者が確認する発音・離鍵候補を作る。入力は録音音声、出力は音高と時刻を持つ候補とし、担当者が聴いて修正した後にMIDIへまとめる。候補からMIDIへの変換手順は、この結果だけでは決められない。
対象に合わせて学習・適応するには、演奏録音と、それに対応する音高・発音時刻・離鍵時刻のMIDIラベルが必要になる。入力用の別センサーは想定せず、録音条件が異なる場合は対応データで精度を確かめ、必要に応じて再学習する案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のピアノ録音と、音高・発音・離鍵時刻を記した対応MIDIを集め、演奏単位で学習用と評価用に分ける。入力は録音音声とし、追加センサーは用いない。対象音源に合わせた前処理とラベルの対応を確認してから、同じモデルをBCE損失と提案損失で学習させる。
両方式に同じデータ分割と時刻許容幅を適用し、発音F1、発音・離鍵F1、手修正が必要な音符数を記録する。ペダルを使う演奏は別に集計し、候補をMIDIにまとめる作業時間も測る。採用判断は、この対象録音で得た結果に基づける。
限界と課題
著者らは離鍵推定を課題として挙げる。離鍵は鍵盤から指を離す動作とサステインペダルの影響を受けると推測し、現行モデルはペダル事象を明示的に検出していないと述べる。発音と離鍵の双方を評価するF1は、比較表の最高値に届かなかった。
編集上の検証事項は、対象録音でも発音時刻の改善が続くか、ペダル使用時に離鍵候補がどう変わるかである。また、学習時に近い時刻のずれを距離として扱うことが、譜面修正に必要な時刻精度と合うかを確認したい。
出典
元のタイトル・要旨を確認する（英語）
A Distribution Matching Approach to Neural Piano Transcription with Optimal Transport
This paper describes a novel paradigm that formalizes automatic piano transcription (APT) as an optimal transport (OT) problem, not as a frame-level multi-label binary classification problem. Our method learns to minimize the cost of transporting a predicted distribution of note events to the ground-truth distribution over time and frequency. The OT loss can thus accommodate temporal misalignment, leading to perceptually relevant optimization. We also propose a convolutional recurrent neural network (CRNN) with a harmonics-aware attention mechanism to capture the spectro-temporal dependencies inherent in music.Our experiments using the MAESTRO dataset showed that our method attained a state-of-the-art performance in onset detection. We confirmed the versatility of the OT loss in application to existing models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01