表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

NotaGen:時代・作曲家・編成を指定してクラシック楽譜を生成する

NotaGen

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

NotaGenの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : An overview of NotaGen’s training paradigms.

出典:NotaGen / arXiv ↗

概要

  • NotaGenは160万曲で事前学習し、時代・作曲家・編成のラベルを付けた8,948曲で追加学習して、ABC形式のクラシック楽譜を生成する。
  • CLaMP-DPOは、同じ条件の実作品との特徴の近さで生成曲の上位・下位各10%を選び、人手の選好注釈なしでモデルを更新する。
  • 著者らの評価では3回の最適化で平均CLaMP 2スコアが3モデルとも上昇した一方、MuPTの小節長の不整合は増えた。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、NotaGenの仕組み

左から右へ読む
  1. 01時代・作曲家・編成
  2. 02ABC楽譜を生成
  3. 03CLaMP 2で採点
  4. 04DPOPで更新
  5. 05ABC楽譜を出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

NotaGenは、音符、拍、声部を記号で表すクラシック楽譜を生成する。複数の声部がある曲では、旋律だけでなく小節ごとの長さや声部の配置、演奏者が読める表記も重要になる。

著者らは、質の高い学習曲の不足と、次の記号を当てる学習だけでは曲全体の構成や様式の一貫性を捉えにくいことを課題に挙げる。そのため、聴いた印象と楽譜としての整合性を分けて評価する必要がある。

手法

NotaGenは160万曲の楽譜で事前学習し、時代・作曲家・編成のラベルが付いたクラシック楽譜8,948曲で追加学習する。例えば「バロック・バッハ・鍵盤」を入力し、ABC記譜法の楽譜を生成する。ABC記譜法は音符や拍子を文字で記す方式で、NotaGenは同じ小節の声部を並べ、まず小節を含むまとまりの流れを捉え、次の文字を順に予測する。

CLaMP-DPOでは、同じ条件の実作品と生成曲をCLaMP 2で数値の特徴に変え、その近さで生成曲を採点する。条件ごとに上位10%と下位10%を選び、好ましい側を相対的に出しやすくする選好学習を行う。実際の更新には、選ばれた出力の確率低下を抑えるDPOPという目的関数を使い、更新後のモデルで楽譜を生成する。

新規性

著者らの提案は、大量の楽譜による事前学習、条件付きの追加学習、生成曲を使った選好学習をNotaGenに組み合わせた点にある。出力対象は演奏音声ではなく、複数の声部を含む楽譜だ。

CLaMP-DPOでは、生成曲と同じ条件を持つ実作品との特徴の近さから学習用の優先順位を作る。著者らは、この工程に人手の選好注釈や事前に定めた報酬を要しないと説明する。

従来手法との違い

著者らはNotaGen、MuPT、METについて、追加学習直後とCLaMP-DPOを3回適用した後を比較した。NotaGenとMuPTはABC形式の楽譜を扱い、METはMIDI形式の演奏情報を扱う。METの追加学習には鍵盤曲3,104曲を使い、指定条件も時代と作曲家に限った。

表では3モデルとも平均CLaMP 2スコアが上がった。一方、楽譜の小節長の不整合はNotaGenで減り、MuPTで増えた。事前学習データや表現形式が異なるため、この結果だけでモデル構造の優劣は切り分けられない。

実験結果

著者らは、追加学習直後をK=0、CLaMP-DPOを3回適用した後をK=3として評価した。平均CLaMP 2スコアはNotaGenで0.570から0.730、MuPTで0.515から0.674、METで0.565から0.655に上昇した。楽譜の小節長が合わない割合は、NotaGenで0.269%から0.176%に下がり、MuPTでは0.824%から4.676%に上がった。

音楽大学の参加者92人による主観A/B評価では、各比較群で少なくとも35件の有効回答を得た。著者らは、3モデルとも最適化後の曲が最適化前の曲より多く選ばれたと報告する。ただし、確認できた本文には各群の得票率が示されていない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:編曲担当者が、対象曲に近い時代・作曲家・編成を指定し、試奏用の楽譜案を複数得る。入力はその3条件、出力は音符や拍子を文字で記すABC記譜法の楽譜とし、担当者が小節、声部、演奏可能性を確認して採否を決める。

組織固有の様式へ適応するなら、許諾を得た楽譜原本と時代・作曲家・編成のラベルを用意し、表記をそろえて追加学習する必要がある。音声収録用のセンサーはこの案の入力には使わない。作業時間が短くなるかは別途測る。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象を一つの編成に絞り、その編成の楽譜原本と時代・作曲家・編成ラベルを準備する。ABC形式とラベル表記をそろえて追加学習し、同じ条件群から、追加学習直後と選好学習後のモデルで楽譜案を作る。音声センサーや音声収録データは、この検証の入力には不要だ。

比較基準は追加学習直後の出力と既存の編曲手順とする。条件ラベルとの一致、小節長の不整合、担当者が試奏に進めると判断した割合、確認に要した時間を同じ条件で記録する。採用率の変化と記譜ミスの増減を一緒に確認する。

限界と課題

著者らは、CLaMP-DPO後に3モデルのパープレキシティが上昇し、MuPTでは小節長の不整合も増えたと報告する。パープレキシティは次の記号を予測する能力の指標であり、選好学習による変化を楽譜の正確さの向上と同一視できない。

編集上の検証事項は、指定編成での演奏可能性、楽譜の読みやすさ、参照作品との過度な類似である。確認できた本文の範囲では、人間の作品を含む比較節が途中で終わっており、その比較の得票率や条件は確認できない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

NotaGen: Advancing Musicality in Symbolic Music Generation with Large Language Model Training Paradigms

We introduce NotaGen, a symbolic music generation model aiming to explore the potential of producing high-quality classical sheet music. Inspired by the success of Large Language Models (LLMs), NotaGen adopts pre-training, fine-tuning, and reinforcement learning paradigms (henceforth referred to as the LLM training paradigms). It is pre-trained on 1.6M pieces of music in ABC notation, and then fine-tuned on approximately 9K high-quality classical compositions conditioned on "period-composer-instrumentation" prompts. For reinforcement learning, we propose the CLaMP-DPO method, which further enhances generation quality and controllability without requiring human annotations or predefined rewards. Our experiments demonstrate the efficacy of CLaMP-DPO in symbolic music generation models with different architectures and encoding schemes. Furthermore, subjective A/B tests show that NotaGen outperforms baseline models against human compositions, greatly advancing musical aesthetics in symbolic music generation.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01