表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

MIDI-GPT:既存のMIDI曲でトラックや小節を指定して補完する方法

MIDI-GPT

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • MIDI-GPTは多トラックMIDI曲のトラックや途中の小節を補完し、楽器や音符密度などを条件にできる。
  • トラックごとに小節を並べ、補完箇所を空白で示す記号表現が、部分編集を可能にする。
  • 著者らは補完が長いほど学習曲や元の小節との重複が減ると報告するが、確認できた本文から具体的な割合は読めない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、MIDI-GPTの仕組み

左から右へ読む
  1. 01既存のMIDI曲
  2. 02トラック別に記号化
  3. 03小節を空白に置換
  4. 04補完したMIDI曲

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

MIDI-GPTは、複数の楽器で構成された曲について、指定したトラックや小節の音楽素材を補完する。MIDIは音高や発音時刻、楽器などを記録する形式で、録音音声そのものではない。

既存曲の続きを作る機能だけでは、途中の伴奏や特定の楽器パートを直す作業に合わない。作曲者が残す部分と作り直す部分を選び、音符の込み具合などを指定できることが、実際の編集手順に関わる。

手法

入力曲は楽器ごとのトラックに分け、各小節の音を発音位置・音高・長さなどの記号に変える。トラックを順に連結した記号列をTransformerという前後の関係を学ぶモデルに渡す。列ではトラックが順番に並ぶが、曲としては同時に鳴る。

例えばピアノの途中2小節を直すときは、その位置を空白記号に置き換え、曲の末尾側に補完する小節を生成する。楽器の種類、音符密度、同時に鳴る音の数、音の長さなどを条件にできる。生成した小節を指定位置に戻し、既存のベースやドラムを含むMIDI曲として出力する。

新規性

著者らは、複数トラックの音符を時刻順に混ぜる代わりに、トラックごとに小節を並べてからトラックを連結する表現を採用した。これにより、生成対象のトラックや小節の位置を記号列の中で特定できる。

途中の小節を空白にして末尾で生成する表現と、楽器を示す記号の後に置く属性条件を組み合わせた。発音の強さと細かな発音時刻を表す記号も提案している。

従来手法との違い

著者らの機能比較表では、MuseNetは最大10トラック、10種類の楽器に対応し、MIDI-GPTはGeneral MIDIの128種類の楽器を扱う。両者とも楽器編成を固定しないが、MIDI-GPTで扱える曲はモデルの2048記号未満という上限に収まる必要がある。

MuseNetは音の開始・終了を音高とトラックに結び付けた記号で表す。MIDI-GPTは音を表す記号をトラック間で共用し、楽器の指定も確実に反映すると著者らは説明する。これは対応機能と表現方法の比較であり、聴感上の優劣ではない。

実験結果

著者らはGigaMIDIを学習80%、検証10%、テスト10%に分けた。学習曲との類似を調べる評価では、テスト用の4トラック・8小節から1トラックの連続した小節を補完し、100試行で学習曲とのハミング距離を測った。これは音が鳴る位置の違いを数える指標である。

元の小節との重複は、補完長を1、2、4、8小節として各250回、音が鳴る位置の集合の重なりを表すJaccard指数で測った。著者らは長い補完ほど重複が減り、4小節以上で元と異なる変奏を安定して得たと述べる。確認できた本文の範囲では図の割合と属性制御の条件別数値は読めない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:ゲーム用ループ曲のピアノだけを直したい作曲者が、利用を認められた既存の多トラックMIDI曲と、補完するトラック・小節、希望する楽器と音符密度を入力する。出力は指定箇所の補完候補を含むMIDI曲とする。

作曲者はベースやドラムとのつながりを聴き、候補を選んで編集する。初期検証に追加学習用の曲、人手の追加ラベル、専用センサーは設定しない。作風に合わせた追加学習を試す場合は、利用可能な対象作風のMIDI曲が必要になる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:利用を認められた多トラックMIDI曲を集め、編集したい楽器と小節を指定する。元の別小節を流用する方法を比較対象とし、同じ箇所への補完候補を作って、作曲者が聴き比べられるようにする。

初期検証では追加学習用データ、人手の追加ラベル、専用センサーを使わない。作風への適応を試す段階では、利用可能な対象作風のMIDI曲を学習データとして用意し、曲から条件値を算出する。指定楽器の維持、元の小節との差、無音の候補数、採用までの編集時間を記録する。

限界と課題

著者らが示す制約は、モデルが扱う曲を2048記号未満に収める必要があることと、音の長さ・同時発音数の範囲指定が厳密な保証ではないことである。学習曲との一致を探す評価には候補を絞る近似的な手順を使い、一致を見逃す可能性も記している。

編集上の検証事項は、対象曲が記号数の上限に収まるか、補完が前後の小節につながるかである。確認できた本文の範囲では図の具体的な割合や属性制御の条件別数値は読めず、類似度の評価だけで権利上の判断もできない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

MIDI-GPT: A Controllable Generative Model for Computer-Assisted Multitrack Music Composition

We present and release MIDI-GPT, a generative system based on the Transformer architecture that is designed for computer-assisted music composition workflows. MIDI-GPT supports the infilling of musical material at the track and bar level, and can condition generation on attributes including: instrument type, musical style, note density, polyphony level, and note duration. In order to integrate these features, we employ an alternative representation for musical material, creating a time-ordered sequence of musical events for each track and concatenating several tracks into a single sequence, rather than using a single time-ordered sequence where the musical events corresponding to different tracks are interleaved. We also propose a variation of our representation allowing for expressiveness. We present experimental results that demonstrate that MIDI-GPT is able to consistently avoid duplicating the musical material it was trained on, generate music that is stylistically similar to the training dataset, and that attribute controls allow enforcing various constraints on the generated material. We also outline several real-world applications of MIDI-GPT, including collaborations with industry partners that explore the integration and evaluation of MIDI-GPT into commercial products, as well as several artistic works produced using it.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01