アーカイブ / Audio
文章や音声で操作しながら音楽を流すMagenta RealTime：仕組みと評価範囲
Magenta RealTime
Magenta RealTimeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Magenta RealTime is a live music model that generates an uninterrupted stream of music and responds continuously to user input. It generates audio in two-second chunks using a pipeline with three components: (1) MusicCoCa, a style embedding model, (2) SpectroStream [ 20 ] , an audio codec model, and (3) an encoder-decoder language model . For each chunk, a style embedding is computed via a weighted average of MusicCoCa embeddings of text and audio prompts from the user. Given this style embedding and 10 10 seconds ( 5 5 chunks) of past audio context, the language model decoder generates SpectroStream audio tokens for the new chunk, which is then decoded to audio.
概要
- Magenta RealTimeは文章や音声でスタイルを指定し、直前10秒を参照しながら2秒単位で音楽を連続生成する。
- 47秒の固定文章による器楽曲評価では、FDopenl3とKLpasstは比較した2モデルより低く、CLAPscoreは両モデルの間だった。
- イベントで使う場合は、操作から音の変化までの時間、途切れ、場面転換の自然さを別途測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Magenta RealTimeの仕組み
- 01文章・音声の指示
- 02スタイル表現を合成
- 03過去10秒から予測
- 04次の2秒を音声化
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Magenta RealTimeは、文章や音声で音楽のスタイルを指定し、その指定を変えながら音を流し続けるモデルである。従来のオフライン生成では、指示を渡して完成した音声を受け取るため、演奏中に操作を重ねる使い方とは手順が異なる。
ライブ用途には、再生に間に合う速さで音を作り、直前の音楽とのつながりを保ち、指示の変化を適時に反映する必要がある。論文は、この三つを備えるものをライブ音楽モデルと定義している。
手法
Magenta RealTimeは、文章や音声見本をMusicCoCaで共通の「スタイル表現」に変える。これは音楽の特徴を数値で表したもので、複数の指示を重み付きで混ぜられる。たとえば「テクノ」と「フルート」の文章を組み合わせ、それぞれの効き方を調整する。
次に、直前10秒の音と現在のスタイル表現を使い、次の2秒分の音声トークンを予測する。トークンは音を圧縮して扱う記号で、SpectroStreamという音声の圧縮・復元モデルが再生可能な音に戻す。この処理を繰り返す。過去の音は情報量を減らした表現で参照し、次の音を作る処理量を抑える。
新規性
著者らが示す進歩は、利用者の指示と直前の出力を参照しながら、音楽を連続生成する仕組みを公開した点にある。Magenta RealTimeは重みを公開するモデルとして、Lyria RealTimeは操作機能を拡張したAPIモデルとして提示された。
Magenta RealTimeは2秒ごとに次の音を作り、区切りごとに文章や音声によるスタイル指定を更新できる。著者らは、これを演奏中の操作に応じる方式と位置づけている。
従来手法との違い
従来のオフライン生成では、条件を入力して一定の長さの音声が完成するのを待つ。著者らのいうライブ生成は、過去の出力を踏まえて音を流し続け、途中で変わる指示にも応じる。生成速度に加え、音の連続性と操作が反映されるまでの時間が論点になる。
固定した文章から47秒の器楽曲を作る評価では、Stable Audio OpenとMusicGen-stereo-largeを比較対象にした。両モデルは表でライブ生成に非対応とされており、この比較から演奏中の操作性能の優劣は判断できない。
実験結果
著者らはSong Describer Datasetで固定した文章から47秒の器楽曲を生成し、音声の特徴や文章との一致を指標で比較した。Magenta RealTimeのFDopenl3は72.14、KLpasstは0.47で、Stable Audio Openの96.51、0.55とMusicGen-stereo-largeの190.47、0.52より低い。文章との一致を測るCLAPscoreは0.35で、両モデルの0.41と0.31の間だった。
操作の評価では128組の文章を使い、60秒間に6段階、各10秒でスタイル表現を移した。著者らは出力と目標の表現が概ね沿う推移を報告し、中間と終点での類似度低下も記している。T5 Large構成の生成速度はH100 GPU上でRTF 1.8。RTFは所要時間に対する生成音声の長さの比である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：小規模イベントの会場BGMを、進行担当者が文章で操作する。開始前に場面ごとの文章と混合時の重みを決め、進行に合わせて入力を切り替える。出力は連続した音楽とし、担当者が実際に聴いて切り替えを判断する。
既存モデルをそのまま使う試行では、追加の学習音源や教師ラベル、音声入力用センサーは用意しない。元モデルの学習には主に器楽の音源と、音楽の特徴を記した文章が使われている。会場向けの適応作業は文章と重みの調整であり、場面転換の成否は実地で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：イベントの場面ごとに文章を数組用意し、同じ場面で使う固定録音BGMを比較基準にする。連続再生中に指示を変え、入力時刻、聴感上の変化が現れた時刻、音が途切れた回数を記録する。担当者には切り替えの自然さを同じ尺度で評価してもらう。
この小規模試行は既存モデルを使い、追加の学習音源、教師ラベル、音声入力用センサーを必要としない設計にする。適応作業は文章と重みの調整に限る。別の音楽で再学習するなら学習音源とスタイルを記す文章が必要になるため、この試行の結果とは分けて検討する。
限界と課題
著者らは今後の課題として、操作が音に反映されるまでの遅れをさらに短くすることを挙げる。また、複数の楽器などを分けた音源で学習すれば、人の演奏に合わせた動的な伴奏につながる可能性を述べる。現行モデルでその伴奏を実証したという報告ではない。
編集上の検証事項は、会場で音が途切れないか、指示から聴感上の変化までどれほどかかるか、意図しない音への変化がないかである。固定した文章による47秒の評価は、指示を変え続ける運用とは条件が異なる。操作遅延の実測値も、確認できた本文の範囲では示されていない。
出典
元のタイトル・要旨を確認する（英語）
Live Music Models
We introduce a new class of generative models for music called live music models that produce a continuous stream of music in real-time with synchronized user control. We release Magenta RealTime, an open-weights live music model that can be steered using text or audio prompts to control acoustic style. On automatic metrics of music quality, Magenta RealTime outperforms other open-weights music generation models, despite using fewer parameters and offering first-of-its-kind live generation capabilities. We also release Lyria RealTime, an API-based model with extended controls, offering access to our most powerful model with wide prompt coverage. These models demonstrate a new paradigm for AI-assisted music creation that emphasizes human-in-the-loop interaction for live music performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01