アーカイブ / Audio / Generative AI
生成音楽は元曲の感情に沿うか――文章入力と音声入力を比較
Emotion-Following Evaluation Pipeline
Emotion-Following Evaluation Pipelineの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Distribution of valence–arousal Euclidean distance across the 10 GTZAN genres. Lower values indicate better emotion alignment. Each box shows the interquartile range with median (line) and mean (dot). Text-conditioned models (lighter shades) are shown alongside audio-conditioned models (darker shades).
概要
- 著者らはGTZANの千曲を基準に、生成曲が元曲の感情にどれだけ近いかを二つの値で測った。
- 検証した五設定では、文章入力の生成曲が音声入力より元曲との感情の距離が小さかった。
- 評価値は同じ感情認識モデルによる推定であり、人が感じる感情との一致には別の検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Emotion-Following Evaluation Pipelineの仕組み
- 01GTZANの30秒曲
- 02説明・感情を推定
- 03文章か音声で曲生成
- 04感情差を算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
狙った感情に沿う音楽を生成できるかは、動画などに添える曲を選ぶ際の判断材料になる。音質や文章との関連性だけでは、求めた雰囲気に合うかを直接測れない。
この研究は、元曲の感情を基準に生成曲との差を調べる。感情は、快・不快の方向を示すヴァレンスと、穏やか・活発の程度を示すアラウザルの二つの値で表す。
手法
まず、十ジャンルの音楽を収めたGTZANの各曲について、DashengLMで音の特徴を文章にし、Music2Emotionで感情語と二つの感情値を推定する。確信度が高い感情語の上位三件と曲の説明をGPT-4で一つの指示文に整える。例えば、歪んだギターを含むブルースの説明に、推定された感情語を加える。
文章入力では三つの生成システムに同じ指示文を渡し、音声入力ではMusicGenかInspireMusicに元曲だけを渡す。各設定で三十秒の曲を生成し、Music2Emotionで再分析する。元曲との差は、値ごとの差を平均する平均絶対誤差と、二つの値を座標にした距離で測り、元曲との相関も計算する。
新規性
著者らが示したのは、元曲と生成曲の感情を同じ二つの値で表し、対応する曲ごとに差を測る評価手順である。感情への追従を、音質や指示文との関連性とは別の観点として扱う。
同じ元曲から作った感情語入りの文章を渡す方法と、元の音声を渡す方法を、三つの生成システムの計五設定で比べた。ジャンル別と感情の値別にも結果を調べている。
従来手法との違い
文章入力はStable Audio Open、MusicGen、InspireMusicの三設定、音声入力はMusicGenとInspireMusicの二設定を比べる。文章入力では曲の説明と感情語を組み合わせ、音声入力では元曲だけを渡す。
著者らの実験では、文章入力の設定ほど元曲との感情の距離が小さかった。InspireMusicは両方式で同じモデルを使う一方、MusicGenは文章用と音声用で異なるモデルを使うため、後者の差を入力形式だけの効果とは解釈できない。
実験結果
著者らはGTZANの全千曲を使い、各曲・各設定で三十秒の曲を一本ずつ、生成時の既定設定で作った。二つの感情値から求めた平均距離は、MusicGenの文章入力が1.362、InspireMusicの文章入力が1.367、Stable Audio Openの文章入力が1.714、MusicGenの音声入力が1.804、InspireMusicの音声入力が2.101だった。小さいほど元曲に近い。
同じ元曲で文章入力の距離が小さい割合は、InspireMusicで67.3％、MusicGenで64.5％だった。著者らの対応のある検定では両方ともp＜0.001である。五設定すべてでヴァレンスの平均絶対誤差はアラウザルより小さく、距離の分布にはジャンル差も見られた。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：短い動画の音楽選びで、希望する雰囲気に近い参照曲を入力とし、その説明と感情語から候補曲を作る。出力は候補音源と、参照曲との感情の距離を記した一覧にする。
追加学習は計画せず、必要な元データは録音済みの参照曲と候補曲、確認用ラベルは担当者が各曲を聴いて付ける感情評価とする。追加センサーは使わず、制作で使う語彙に指示文を合わせる。距離は候補を見直す手掛かりとし、選曲は担当者が判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：制作で使う参照曲を少数集め、各曲の説明と感情語から三十秒の候補を作る。同じ参照曲を音声として直接入力する条件を比較基準にし、元曲と候補曲の感情値の距離を対応づけて記録する。
追加学習用データは設けず、必要な元データは参照曲と生成した候補曲、評価用ラベルは担当者による感情評価とする。追加センサーは使わない。指示文の語彙を制作目的に合わせ、距離に加えて担当者の一致判断と再生成時のばらつきを測り、採用可否を決める。
限界と課題
著者らは、元曲の基準値も生成曲の評価値もMusic2Emotionで求めたため、数値は一つの感情認識モデル内での一致を示し、人の感じ方を直接示さないと述べる。GTZANには同じアーティストの曲の重複やジャンル表示の曖昧さという制約もある。
また、元曲ごとの生成は各設定で一回、生成時は既定設定だった。MusicGenでは入力方式とモデルの違いが重なり、GPT-4による指示文の書き換えも結果に影響し得る。編集上の検証事項は、別の音源群、人の評価、生成の繰り返しでも傾向が保たれるかである。
出典
元のタイトル・要旨を確認する（英語）
How Well Do Generative Music Models Follow Emotion Conditioning?
Recent generative music models offer increasingly fine-grained control through text and audio conditioning, yet how faithfully they follow intended emotional cues remains an open question. We address this gap with a unified evaluation pipeline for emotion-following in generated music. Using all 1000 tracks in GTZAN, we extract semantic audio descriptions with DashengLM, an audio captioning model, and estimate source-track valence and arousal with Music2Emotion, a music emotion recognition model. We construct affect-aware text prompts by combining descriptions with top-ranked emotion tags and generate 30-second outputs with three systems, Stable Audio Open, MusicGen, and InspireMusic, evaluating both text- and audio-conditioned generation. To measure emotion-following, we compute valence and arousal on generated audio and compare them with the source tracks using absolute error and Euclidean distance in valence-arousal space. Text-conditioned generation consistently outperforms audio conditioning, with MusicGen (text) and InspireMusic (text) achieving the best performance, while audio-conditioned variants prove less stable. We further find that valence is preserved more reliably than arousal and that emotion-following varies substantially across genres. These findings underscore the importance of evaluating affective controllability directly rather than relying solely on general quality or prompt-relevance metrics.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01