アーカイブ / Audio
楽譜から合成した音声を手掛かりに、演奏時間を変えられるピアノ音声生成
PianoKontext
PianoKontextの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of PianoKontext. (Left) Preprocessing: Score and performance audiofiles are encoded with the pretrained Music2Latent model. The produced embeddings are then aligned with the DTW algorithm. (Right) Architecture: PianoKontext uses a concatenated score, noise, and EOS latents as its inputs, which are then passed to DiT blocks with 2D RoPE embeddings.
概要
- 楽譜のMIDIから合成した単調な音声を条件に、長さの異なるピアノ演奏音声を生成する。
- 楽譜側と実演側の圧縮表現をDTWで対応付け、同じ楽曲部分を学習に使う。
- 著者の短い区間での評価では、CFG BridgeよりFAD・KADが低く、音符対応の適合率・再現率が高かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PianoKontextの仕組み
- 01楽譜MIDI・実演録音
- 02単調音声を合成
- 03潜在列をDTW対応
- 04DiTで演奏生成
- 05表情付き演奏音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PianoKontextは、楽譜の音符列に沿いながら、速さや音の出し方に変化のあるピアノ演奏音声を作る。楽譜の内容を保ちつつ、人の演奏に見られる音符間の時間の揺れを扱うことが課題だ。
著者によると、従来の音声編集モデルは入力と出力の長さが同じ音楽を主に扱ってきた。再生時間をそろえる前提では、テンポや間合いが変わる演奏を学習しにくい。
手法
楽譜を記したMIDIを一定の弾き方の音声に合成し、人の演奏録音とともにMusic2Latentで短い数値列に圧縮する。この列が音の「潜在表現」だ。DTWは進む速さの違う二つの列で同じ楽曲部分を探す手法で、学習に使う区間の対応付けに用いる。
学習時は楽譜側の列と雑音を加えた実演側の列を連結し、列の終わりを示す情報とともにDiTという系列処理モデルへ渡す。モデルはフローマッチング、つまり雑音を演奏の列へ変える方向を学ぶ方法で訓練する。生成時には単調な音声を条件に、指定した長さの演奏音声を得る。
新規性
PianoKontextの特徴は、一定の弾き方で合成した楽譜音声を条件に、長さの異なる演奏音声を生成する点にある。著者は、楽譜と実演の対応を圧縮表現上で求め、同じ楽曲部分を学習用の組にする。
条件側と生成対象側の列を一緒にモデルへ渡し、各列の終わりを示す情報を加える。これにより、両者の再生時間が異なる組を扱える構成にしている。
従来手法との違い
比較対象のCFG Bridgeは、単調な音声と実演音声にそれぞれラベルを付けて学習する。生成時は入力をいったん雑音側へ変換し、実演のラベルを使って音声へ戻す。評価では固定長の入力を使った。
PianoKontextは対応する楽譜音声と実演を組にして学び、両者の情報をモデル内で同時に扱う。著者の比較結果は、このCFG Bridgeとの短いピアノ演奏区間での条件に限られる。
実験結果
著者はMAESTROの実演とASAPの楽譜を組にし、テスト分割の39曲・74演奏を用いた。各楽譜の冒頭数秒から5演奏を生成し、固定長の冒頭11秒を使うCFG Bridgeと比較した。
著者の表ではPianoKontext対CFG Bridgeの順に、音声分布の差を示すFADは2.96対4.69、KADは0.91対1.68で、低いほどよい。楽譜との音符対応を示すAlignment Precisionは0.630対0.466、Alignment Recallは0.666対0.373で、高いほどよい。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ピアノ教材の短い譜例について、速さの異なる演奏見本を試作する。入力は譜例のMIDIと、学習用に対応付けた同じ曲の演奏録音。出力は譜例に沿った複数の短い音声候補とする。
導入には楽譜と録音の組を対象曲に合わせて用意し、対応付けとモデルの学習を試す必要がある。音符ごとの表情ラベルやセンサー計測値は入力に含めず、講師が発音や音の切り方を確認して教材候補を選ぶ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い譜例のMIDIと、同じ曲に対応する実演録音を学習用の組として集める。音符単位の表情ラベルやセンサー計測値は使わず、単調音声の合成、区間の対応付け、対象データでの学習を試す。
同じ譜例をCFG Bridgeでも生成し、FAD・KADと楽譜に対するAlignment Precision・Recallを比べる。指定した長さを満たすか、音の切り方が教材として妥当かも講師が確認する。
限界と課題
著者はドビュッシーの冒頭例について、曲の構造や旋律は追えても、指定された音の切り方を再現できなかったと報告する。また、研究を短い区間の実証と位置付け、演奏全体への拡張や音楽性のより厳密な評価を今後の課題としている。
編集上の検証事項は、対象曲を変えたときの音符の欠落や余分な発音、指定した長さでの聴感上の自然さだ。ほかの楽器でも同様に使えるかは、このピアノの評価結果からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
PianoKontext: Expressive Performance Rendering from Deadpan Context
Expressive performance rendering (EPR) aims to generate realistic performances constrained on sequences of notes. However, flow matching audio editing models manipulate only synchronized music samples of the same duration, limiting their understanding of expressive timing. We introduce PianoKontext, a flow matching rendering model for classical piano music that generates variable-length performances in the latent space of a pretrained Music2Latent model. We synthesize MIDI scores into deadpan audio and employ Dynamic Time Warping (DTW) in the latent space to construct paired data for training. The aligned embeddings are concatenated in DiT blocks, allowing for a simple and effective learning of the dependencies between the score and performances. Audio samples are available at our demo page: https://realfolkcode.github.io/pianokontext_demo/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01