アーカイブ / Audio
笑い声やため息の聞こえ方を評価する音声品質予測モデル「NVMOS」
NVMOS
NVMOSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the proposed NVMOS framework. The marked text provides a tag-centered query, which guides cross-attention over frame-level speech representations for local NV quality prediction.
概要
- NVMOSは、文中のタグで指定した笑い声などの品質を、音声と対応文から0～5点で予測する。
- NV-MOSは7,784件を収録し、各件について音響分野の専門家3人による採点を得た。
- 著者らの試験では、WavLM Large使用時の専門家平均点とのピアソン相関は0.697だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NVMOSの仕組み
- 01音声とタグ付き文
- 02時間別の音声特徴
- 03タグと音声の照合
- 04対象音の品質点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
NVMOSは、笑い声、ため息、せきなどの非言語発声が自然に聞こえるかを予測する。非言語発声とは、言葉として発音されない声のことだ。指定どおりに音が出ても、硬く聞こえたり、前後の発話から浮いたりする場合がある。
発話全体の品質点だけでは、短い対象音の問題を捉えにくい。人が多数の音声を聴いて評価する作業を補うには、指定された音そのものと周囲とのつながりを採点する方法が必要になる。
手法
入力は音声と対応する文で、評価したい音は[ahem]のように角括弧のタグで示す。モデルは音声を短い時間単位の特徴列に変え、文からはタグに当たる語の特徴を取り出す。特徴とは、音や文字を計算に使える数値で表したものだ。文全体ではなくタグを中心にした表現を、対象音を探す手がかりにする。
続いて「交差注意」という処理で、その手がかりを音声の各時点と照合する。評価に役立つ時点へ重みを付ける仕組みで、対象音の厳密な開始・終了時刻は入力しない。照合後の情報から0～5の品質点を予測し、学習では専門家3人の平均点に近づける。
新規性
著者らは、発話全体ではなく、文中のタグで指定した非言語発声の知覚品質を予測するモデルとしてNVMOSを提案した。著者らの知る限り、この対象を信頼して予測できる初のモデルだと位置づけている。
音声の時間ごとの特徴を残し、タグを手がかりに評価対象の周辺へ注意を向ける。あわせて、合成音声と自然音声を含む専門家評価付きデータセットNV-MOSを構築した。
従来手法との違い
従来の発話単位の品質予測は、音声全体の自然さを扱う。非言語発声を伴う音声合成の評価には、指定した種類の音が指定位置に出たかを調べる方法もあるが、その音の自然さや前後の発話との接続は別に評価する必要がある。
著者らはSPEAR Largeの同じ音声特徴、学習分割、採点器を使い、文字情報の与え方を比較した。試験集合のピアソン相関は音声のみで0.581、全文の平均表現で0.644、タグ中心の表現で0.690だった。この差は同論文のデータと設定での結果である。
実験結果
著者らが構築したNV-MOSは7,784件、約9.51時間で、合成音声2,655件と自然音声5,129件を含む。対象は16種類の非言語発声。各件を音響分野の博士号を持つ専門家3人が採点し、学習7,006件、検証389件、試験389件に分けた。
試験集合で、予測点と専門家平均点のピアソン相関はWavLM Large使用時0.697、SPEAR Large使用時0.690だったと著者らは報告する。専門家同士の相関は0.589～0.699、比較した音声対応モデルで最高のGemini 3 Flashは0.468だった。相関は点数の変動がどれだけ一致するかを示す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：研修動画の合成ナレーションで、台本に指定した笑い声を確認する候補の抽出に使う。入力は生成音声と、対象の笑い声をタグで示した対応文。予測点が低い箇所を編集者の確認リストに載せ、実際に聴いて修正を判断する。
この用途には、制作工程で得た音声、対応文、専門家が付けた対象箇所の品質ラベルが必要になる。追加のセンサーは想定しない。原研究の文字情報は英語と中国語なので、日本語の台本とタグ表記に合わせた調整と検証が要る。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず制作工程から、対象音のタグ付き台本と対応音声を集める。専門家に各対象音を0～5点で採点してもらい、音声・台本・品質ラベルを学習用にそろえる。追加センサーは不要と想定し、日本語のタグ表記と音声に合わせて調整する。
話者が学習側と試験側で重ならない分割を作り、合成方式も可能な範囲で分ける。音声のみで予測する方式を基準に、専門家平均点とのピアソン相関と平均絶対誤差を比較する。低得点候補を人が聴き直し、確認作業に役立った件数も記録する。
限界と課題
著者らが報告したのは、比較対象の音声対応モデルが良質な対象音を低く採点したり、存在しない音に高得点を付けたり、音の種類を取り違えたりする事例である。これらはNVMOS自体の失敗率を示すものではない。
編集上の検証事項として、日本語の台本、学習時と異なる合成方式、録音条件でも評価が合うかを確かめたい。確認できた本文の範囲では、これらの条件別成績や、実務で低得点を不合格とする閾値は示されていない。
出典
元のタイトル・要旨を確認する（英語）
NVMOS: Non-Verbal Vocalization Quality Assessment in Speech
Non-verbal vocalizations (NVs), such as laughter, sighs, and coughs, are important acoustic cues for emotion and intent. Existing speech quality assessment methods typically focus on overall naturalness, while non-verbal TTS evaluations mainly examine whether a target NV appears with the correct type and position. However, the perceptual quality of NV events themselves remains underexplored. To address this gap, we construct an NV-MOS dataset containing outputs from multiple NV-TTS systems and naturally occurring NV samples, with ratings collected from three acoustic experts on a perceptual quality scale. We further analyze audio-capable multimodal large language models such as Gemini and find clear inconsistencies between their scores and expert ratings. These results suggest that general-purpose multimodal models cannot reliably replace human judgments for NV quality assessment. We then propose NVMOS, to our knowledge the first model that can reliably predict the perceptual quality of NV events in speech. Experimental results show that, with a local NV-event focusing module, NVMOS reaches expert-level or stronger agreement with human MOS.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01