アーカイブ / Audio
失敗したリコーダー演奏へ音楽を変換する：FR109と既存3手法の比較
Music2Fail
Music2Failの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Mel spectrograms of failed recorder music, the red rectangular parts show the inharmonic partials.
概要
- FR109は、意図的な失敗を含むソプラノリコーダー演奏109曲、計5.05時間のデータセットである。
- Bach10から失敗リコーダーへの変換で、著者らが報告したFADはVAE-GANが7.27、StarGANが13.87、DDSPが38.91だった。
- 実録音とStarGAN・VAE-GANの変換音には雑音らしさの指標で差が残り、聴取試験の有効回答は16件だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Music2Failの仕組み
- 01楽器の録音
- 02メルスペクトログラム
- 03失敗演奏風に変換
- 04波形に復元
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Music2Failは、通常に演奏した楽器の音を、わざと失敗を含めて吹いたリコーダーの音へ変換する課題を扱う。楽器のスタイル変換では旋律やリズムを残して音の特徴を替えるが、この課題では音程のずれや荒い響きも変換先の特徴となる。
著者らは、そのような演奏を意図的に録音した既存データがないとしてFR109を作成した。どの程度旋律を残し、リコーダーらしい失敗を表現できるかを、既存手法で調べている。
手法
著者らはバイオリン、クラリネット、サクソフォンの録音を、失敗したリコーダー演奏の音へ変換した。StarGANとVAE-GANでは、入力をメルスペクトログラムにする。これは時間ごとに各音域の強さを並べた表現で、生成器がリコーダー側の特徴へ変換し、BigVSANが聴ける波形へ戻す。図解はこの二つの手法の処理順を示す。
例えばサクソフォンの短い演奏が入力なら、リコーダーらしい荒い響きを含む音声が出力となる。比較対象のDDSPは別の経路を使い、音量、基本周波数、残りの音響情報を入力から抽出して合成音を作る。基本周波数は音の高さの土台となる周波数を指す。
新規性
著者らは、意図的に音程や吹き方を外した演奏を変換先とする「失敗演奏スタイル変換」を検討し、その評価に使うFR109データセットを作成した。FR109は経験のある演奏者によるソプラノリコーダーの109曲、計5.05時間の録音である。
新しい変換モデルの提案ではない。既存の3手法を適用し、音の特徴と聴取評価の両面から、失敗を含む演奏への変換を調べた点が研究の中心となる。
従来手法との違い
通常の楽器間の変換は、旋律やリズムを保ちながら、変換先の楽器らしい音を作る。今回は変換先の録音に音程のずれ、強すぎる息、吹き方の誤りなどが意図的に含まれるため、それらも再現する対象になる。
比較した既存手法はStarGAN、VAE-GAN、DDSPの3つ。前二者は音の時間的な特徴を変換して波形に戻す。DDSPは入力から抽出した音量や基本周波数を基に音を合成する。著者らは、入出力の音程が近いというDDSPの前提が、この課題には合いにくいと考察している。
実験結果
著者らは入力楽器の学習にURMP、評価に別データセットのBach10を使い、FR109を学習用90％と試験用10％に分けた。Bach10から失敗リコーダーへ変換した音のFADは、VAE-GANが7.27、StarGANが13.87、DDSPが38.91。FADは生成音と参照音の集合の隔たりを測り、小さいほど近い。
各入力楽器から1音声片を選んだ聴取試験には16件の有効回答があった。5点満点の音質平均は同じ順に3.00、2.46、1.38で、著者らはVAE-GANとStarGANの音質差についてp値0.02を報告した。一方、提示されたサクソフォンの一例では、StarGANの変換音に失敗演奏の特徴がより明瞭に見えたとしている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：短いコメディ映像の仮の劇伴として、旋律を失敗したリコーダー演奏風に変換する。権利を確認した楽器の録音を入力し、変換音声を映像に合わせて試聴したうえで、制作者が使う区間を選ぶ。
適応には入力側の楽器音声と、FR109のように失敗を意図的に含めたリコーダー録音が要る。StarGANやVAE-GANを使う場合は楽器の種類を示すラベルも必要となる。追加の物理センサーは使わず、制作素材の録音条件に合わせて前処理とモデルの適応を検討する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：制作に使う楽器の短い録音と、意図的な失敗を含むリコーダー録音を用意する。各音声に楽器の種類をラベル付けし、録音条件を確認して前処理したうえで、選んだ変換手法を素材に適応する。追加の物理センサーは想定しない。
同じ入力について無変換音声と変換音声を保存し、旋律の残り方、失敗リコーダーらしさ、音質を分けて聴取記録する。実録音を参照にFADも測り、事前に決めた制作上の許容基準と照合する。この試験は用途への適合を確かめるための案であり、改善を保証するものではない。
限界と課題
著者らが示したウィーナーエントロピーは、実録音FR109で0.0345、リコーダーへの変換音でStarGANが0.0153、VAE-GANが0.0159だった。この値は音の雑音らしさを捉える指標であり、著者らは実録音との差を改善の余地としている。DDSPの変換音には多くの雑音があるとも報告した。
編集上の検証事項は、別の演奏者による録音や、Bach10以外の曲でも結果が続くかである。聴取試験は各入力楽器から1音声片を選び、有効回答は16件だった。実制作に使う長さと曲調で、旋律の残り方、失敗演奏らしさ、聞きやすさを確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Music2Fail: Transfer Music to Failed Recorder Style
The goal of music style transfer is to convert a music performance by one instrument into another while keeping the musical contents unchanged. In this paper, we investigate another style transfer scenario called ``failed-music style transfer''. Unlike the usual music style transfer where the content remains the same and only the instrumental characteristics are changed, this scenario seeks to transfer the music from the source instrument to the target instrument which is deliberately performed off-pitch. Our work attempts to transfer normally played music into off-pitch recorder music, which we call ``failed-style recorder'', and study the results of the conversion. To carry out this work, we have also proposed a dataset of failed-style recorders for this task, called ``FR109 Dataset''. Such an experiment explores the music style transfer task in a more expressive setting, as the generated audio should sound like an ``off-pitch recorder'' while maintaining a certain degree of naturalness.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01