アーカイブ / Audio
一つの録音に約24の説明を付けるSonicCaps――音声検索用データの作り方
SonicCaps
SonicCapsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overview of the proposed caption generation pipeline. High-fidelity captions are first generated from audio, followed by diversity augmentation via prompt engineering and few-shot prompting.
概要
- SonicCapsは音声と既存の説明文を参照し、主説明、長短の言い換え、タグを生成する。
- 著者らの集計では約70万の録音から約1500万の音声・説明文の組を作り、録音一件当たり平均23.9件の説明を用意した。
- 著者らは人手評価と検索・分類での改善を報告するが、確認できた本文の範囲では評価指標や改善幅の結果表を確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SonicCapsの仕組み
- 01音声と元の説明文
- 02音に沿う主説明
- 03言い換えとタグ
- 04説明文の整形
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SonicCapsは、一つの録音に複数の説明文を付け、文章から音を探すための学習データを作る。音声検索では、利用者が同じ音を異なる言葉で表すため、録音に説明が一つだけでは表現の幅を十分に扱いにくい。
元の説明文には地名や収録情報が混じり、肝心の音の質感や背景音が抜ける場合もある。こうした文に頼ると、検索語と実際の録音を結び付ける際に、音と無関係な情報が手掛かりになりうる。
手法
まず音声と既存の説明文を、音声と文章を扱える生成モデルQwen3-Omniに入力する。聞こえる出来事を短く書き、背景音はあれば含め、地名や推測を避けるよう指示して主説明を作る。例えば掲載例の本のページをめくる録音では、紙のはっきりした音と静かな周囲を表す文が出力されている。
次に同じ音声と主説明から、通常の言い換え約10件、検索語に近い短文約10件、名詞のタグを生成する。少数例提示とは、望む表現の見本を入力に添える方法で、言い換えに使われる。最後に一部の中国語の文を英訳し、固有名詞を含む文は再生成する。著者らは完成した音声・文の組から文を選んで、音声と文章を近い数値表現に変換する検索モデルCLAPを学習した。
新規性
著者らの提案は、音声と既存の説明文を一緒に参照して主説明を作り、同じ音声に対して長さや表現の異なる説明と名詞のタグを加える点にある。録音一件を複数の検索表現に対応させる。
約70万の録音から約1500万の音声・説明文の組を構成し、CLAPの学習では録音ごとに説明文を選んで使う。公開対象について本文が明記するのは、説明文と対応する音声識別子である。
従来手法との違い
比較対象のWavCapsは元の説明文を基に文を生成するため、元の文に誤りがあれば引き継ぐおそれがある。SonicCapsは生成時に録音も参照し、聞こえる出来事や背景音を記述するよう促す。ただし、その指示だけで正確さは保証されない。
FreeSound由来の表では、WavCapsが約25万件、SonicCapsが約51.5万件の録音を扱い、主説明で重複しない文の割合はそれぞれ80.4％、92.4％だった。対象件数と作成方法が異なるため、この表だけで検索性能の差は説明できない。
実験結果
著者らの集計では、SonicCapsは約70万の録音と約1500万の音声・説明文の組からなり、録音一件当たりの説明文は平均23.9件だった。FreeSound由来の主説明では、重複しない文の割合が92.4％で、表中のWavCapsの80.4％を上回る。
著者らは人手による説明文の比較で既存データより高い評価を得たと報告し、SonicCapsで学習したCLAPについて音声検索とゼロショット分類の改善を述べる。ゼロショット分類は、対象の分類例で追加学習せずに判定する課題を指す。確認できた本文の範囲では、人手評価の標本数、検索の評価指標、データ分割、改善幅を示す結果表を確認できず、効果の大きさは判断できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の効果音ライブラリーで、担当者が「静かな室内で紙をめくる音」と入力し、該当する録音の候補を受け取る。必要な元データは保有する音声ファイルと既存の説明文・タグで、追加センサーは想定しない。
各録音から主説明と短い言い換えを作り、担当者が音との一致を確認して検索用データに登録する。出力には候補の録音と説明文を示す。適用に際しては、利用者が書く検索文と正解の録音を対応付けた評価用ラベルを別途作る必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内録音を少数選び、各音声ファイルと既存の説明文・タグを入力として揃える。追加センサーは使わず、担当者が録音を聴いて検索文と正解音声の対応を評価用ラベルとして作り、生成文の音との一致も判定する。
既存の説明文だけを使う検索を基準とし、同じ録音に主説明と短い言い換えを加えた場合と比べる。正解音声が検索結果の上位に入る割合と、聞こえない内容を含む生成文の割合を測る。対象録音や検索文を揃えて比較し、説明文を採用する条件を決める。
限界と課題
著者らは、音声を参照する生成でも根拠のない記述が起こりうると述べる。また、質感の差が小さいハイハット音などでは説明の重複が残り、細かな違いをモデルが十分に捉えられない可能性を指摘している。
編集上の検証事項として、言い換えが実際には聞こえない出来事を加えていないか調べたい。掲載例には、録音との照合を要する推測的な表現もある。導入先では候補文を人が聴取して確認し、誤記述の割合を検索成績とは別に記録する。
出典
元のタイトル・要旨を確認する（英語）
SonicCaps: Large-Scale Diverse and Fine-Grained Captioning for Improved Audio-Retrieval
Recent advances in audio-language modeling have been driven by large-scale audio captioning datasets. However, existing datasets remain limited by low semantic diversity, generic descriptions lacking acoustic details, and one-to-one audio-caption mappings that poorly reflect the inherent ambiguity of auditory perception. We introduce SonicCaps, a large-scale audio captioning dataset comprising ~15M captions paired with ~700k audio clips, generated using a multi-modal large language model (Qwen3-Omni) conditioned on both audio and text. To explicitly promote diversity, we generate around 24 captions per audio via structured prompt engineering and few- shot generation, spanning main descriptions, rephrased variants (verbosity, style) and semantic tags. Human evaluation shows that SonicCaps is rated significantly higher than existing captioning datasets, with fine-grained analyses indicating that our captions are perceived as more descriptive and precise, which strongly correlates with quality judgments. Finally, training CLAP models on SonicCaps with a multi-caption sampling strategy consistently improves audio retrieval and zero-shot classification, with stronger generalization across public and commercial benchmarks. We release both SonicCaps and two specialized CLAP models on hugging face: https://huggingface.co/datasets/Zineb/SonicCaps.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01