新着研究 / Audio / LLM
小型音声モデルの感情推定を事例で補正、音楽の明るさをLLMで数値化
Music Emotion ICL
Music Emotion ICLの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of the proposed framework. A base audio model produces initial valence–arousal (VA) predictions, which are refined via in-context learning using either a text-only LLM (bottom) or a multimodal LLM (top).
概要
- 小型モデルの推定値に対する補正量を、別データの楽曲事例から推論する。
- MER60の感情価の決定係数は0.110から文字方式80事例で0.427へ改善。
- 音声方式は10事例で0.346となり、事例を増やせば常に改善するわけではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Music Emotion ICLの仕組み
- 01楽曲音声
- 02初期感情推定
- 03事例付き補正推論
- 04感情スコア
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音楽の感情を数値にするとき、活発さを表す覚醒度に比べ、明るいか暗いかという感情価は捉えにくい。同じテンポでも歌詞や音色で印象が変わり、音響特徴だけから別の楽曲集合へ予測を移すと精度が落ちる。
本研究は、人が知覚した感情の平均値を対象に、音声モデルと大規模言語モデルを組み合わせる。個々の聴き手の心理状態を推測する課題とは区別して読む必要がある。
手法
まず小型の音声モデルが、感情価と覚醒度をそれぞれ１〜９の範囲で推定する。次に、正解と初期推定の差を含む別楽曲の事例を言語モデルへ渡し、対象曲の推定をどれだけ動かすかを出力させる。文脈内学習とは、重みを書き換えず入力中の見本から対応を読み取る方法である。
テキスト方式は歌詞と自動生成した音の説明、音声対応方式は元の録音と歌詞を利用する。例えば初期値だけでは拾えない曲調の手掛かりを説明文から補い、予測した差分を初期値へ足して範囲内に収める。基礎モデルの学習と推論時の補正を分けた構成だ。音の説明には雰囲気、テンポ感、旋律や和声の感情的な色合いなどを含める。
新規性
工夫は、LLMに感情の絶対値を一から決めさせず、学習済み音声モデルの誤差を事例に基づいて補正させる点にある。音響の初期判断を足場として、歌詞や音の言語的な解釈を加える。
さらに、文字だけの場合と音声を直接入力する場合を分け、見本の数や入力要素の組合せが連続値の推定へ与える影響を調べている。事例なしの指示だけで十分かも同時に検証する。
従来手法との違い
比較対象は初期推定モデル、事例を与えないLLM、入力要素を除いた構成などである。テキスト方式では音の説明が単独の手掛かりとして強く、初期推定・説明・歌詞を合わせた構成が最良だった。
音声対応方式は少数事例で改善する一方、事例数を増やしたときの振る舞いが文字方式と異なる。同じ文脈内学習でも、入力の形式まで含めて設定を選ぶ必要がある。歌詞だけで音楽全体の印象を代用できるという結果ではない。
実験結果
著者らは中国語ポップス818断片のCH818を基礎学習と事例提示に用い、西洋ポップス60断片のMER60を評価専用にした。各断片は30秒で、人の評定平均を正解とする。
感情価の決定係数は基礎モデル0.110に対し、GPT-5の文字方式80事例で0.427、Qwen3-Omni 30Bの音声方式10事例で0.346だった。決定係数は正答率ではなく数値の当てはまりを表す。報告は事例を無作為抽出した５回の平均で、文字方式の覚醒度は0.874となった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、映像制作でBGM候補を人が絞る前の感情タグ付けに使う。楽曲の短い試聴区間を入力し、明暗と活発さの二軸スコアを一覧へ返す。
担当者は数値で候補を並べ替えた後に音を聴き、映像との適合を判断する。スコアだけで採用を確定せず、人の判断と食い違った曲を記録すると、自社の選曲基準とのずれを見つけやすい。曲全体と短い区間で印象が変わる場合も分けて扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、自社の利用許可を得た楽曲を複数人で評定し、事例用と評価用に分ける。小型モデル単独を基準に、文字方式の事例数を段階的に変え、二軸それぞれの誤差と決定係数を比較する。
歌詞の有無や説明文の品質も条件として記録する。処理時間と入力長を測り、精度の上昇に見合う運用費かを判断する。曲単位で分割し、同一曲の別区間が評価へ混ざるのを避ける。
限界と課題
著者らの評価は小規模な特定の音楽集合に基づき、感情価の主観性も残る。古い既知の曲を使っており、モデルの事前学習に関連情報が含まれた可能性は排除できない。
編集上の確認点は、未知のジャンルや日本語曲、歌のない音楽でも補正が役立つかである。評価用集合を学習から分けたことと、基盤モデルがその曲を一切知らないことは同じではない。評定者間の差も確認したい。
出典
元のタイトル・要旨を確認する（英語）
Predicting Music Valence and Arousal via Textual and Multimodal In-Context Learning in Large Language Models
While arousal can be reliably predicted from musical audio, emotional valence remains difficult to model due to its subjective and context-dependent nature. In this work, we investigate the potential of in-context learning (ICL) with large language models to advance continuous valence and arousal prediction. Rather than predicting emotion scores directly, our framework leverages contextual demonstrations from an auxiliary dataset to refine the initial predictions produced by a small, task-specific base model. We systematically evaluate a text-based ICL variant using lyrics and generated audio captions, alongside a multimodal variant that incorporates raw audio signals. Using the entire MER60 dataset strictly as a held-out test set, our experiments demonstrate substantial performance gains, particularly for valence. Text-based ICL improves the valence $R^2$ from 0.110 to 0.427 with 80 demonstration shots, while the multimodal variant achieves 0.346 with only 10 shots. These findings suggest that training-free ICL offers an effective inference-time strategy for current language models to predict continuous music emotion.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-25