アーカイブ / Audio
WhAMは入力音声をマッコウクジラのコーダ風に変換できるか
WhAM
WhAMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Left: WhAM is trained by finetuning VampNet ( García et al., 2023 ) , an audio-to-audio transformer pretrained on a large music dataset (a). Namely, we perform domain adaptation (b) on animal vocalizations followed by species-specific finetuning (c) on a novel sperm whale coda dataset. Right: WhAM synthesizes context-aware variations (d) of input codas and acoustically translates (e) natural and (f) artificial audio into coda-like audio. Illustration © Alex Boersma 2025.
概要
- WhAMは、音楽で事前学習したVampNetを動物音声と注釈付きコーダで追加学習し、入力音声からコーダに似た音を生成する。
- 著者らの正規化FAD評価では、海洋哺乳類12種の入力のうち4種の生成音が、別々の自然コーダ群間の値0.21を下回った。
- 専門家5人による自然音と生成音の二択判定の正答率は、音声のみで81％、周波数の図を併用して83％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、WhAMの仕組み
- 01入力音声
- 02音響記号化
- 03一部を隠す
- 04反復予測
- 05合成コーダ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
WhAMは、音声を入力してマッコウクジラのコーダに似た音を生成する手法だ。コーダは短いクリック列で、クリックの数、間隔、速さに違いがある。こうした違いは発声の特徴を調べる手掛かりになる。
クリックの時刻だけを見る方法では、一つ一つのクリックの周波数成分など、録音に含まれる音響的な違いを扱いきれない。入力音との対応を保ちながら合成音を作れれば、研究者が発声の特徴を比較する材料になる。
手法
WhAMは、音楽で事前学習した音声生成モデルVampNetを追加学習する。まずFSD、AudioSet、WMMSの動物音声に合わせ、次にDSWPとCETIの注釈付きコーダに合わせる。音響トークンとは短い音の区間を表す離散的な記号で、モデルは録音をこの記号列に変える。
生成時には、例えば別の海洋哺乳類の鳴き声を記号列にし、一部を隠す。トランスフォーマーという前後の情報を参照する予測モデルが、隠した記号を複数回に分けて補い、最後に音声へ戻す。元のコーダを入力して変種を作ることもできる。出力はコーダに似た音響を持つ合成音だ。
新規性
著者らはWhAMを、入力音声を手掛かりにした音響変換、コーダの生成、内部表現を使う識別を一つにまとめた、初のマッコウクジラ向けモデルと位置付ける。音声を条件にして出力を変えられる点が主張の中心だ。
生成を目的に学習した内部表現が、別途学習する小さな識別器にも役立つことを示した。ただし、ここでの「翻訳」は音響的な変換を指し、発声の意味を人間の言葉に訳すものではない。
従来手法との違い
従来の敵対的生成モデルもコーダに似た音を作るが、著者らは入力音声の文脈を条件にした生成が難しいと説明する。クリックの時刻や間隔を扱う手法に対し、WhAMは個々のクリックを含む録音の音響情報を入力に使う。
識別では、無作為な表現と最多クラスを選ぶ基準、音響識別向けのAVESなどと比較した。WhAMは二つの単純な基準を上回った一方、AVESは報告された全識別課題でWhAMを上回る。
実験結果
著者らは、自然のコーダと生成音の集まりを正規化Fréchet Audio Distance（FAD）で比較した。音声の特徴の隔たりを示し、低いほど近い。別々の自然コーダ群間は0.21で、海洋哺乳類12種の音を入力した結果、4種の生成音がこの値を下回った。
コーダ分析の経験がある専門家5人の二択判定では、自然音と生成音の30組について、音だけで81％、同じ組を周波数の図とともに見て83％の正答率だった。内部表現によるコーダ検出、リズム、社会単位、母音に似た特徴の識別も報告する。確認できた本文の範囲では、識別実験のデータ分割の詳細は付録に委ねられている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：海洋生物の研究者が、収録済みのコーダから比較用の合成音を作り、クリックの違いを専門家と確認する。入力は水中マイクによる元録音と対象のコーダ区間、出力は生成音と元録音を結び付けた確認記録とする。
事前の調整には動物音声、対象種への調整にはコーダ区間の注釈が付いた録音が必要だ。リズム別に比較するなら型のラベルも用意し、収録条件に合わせた調整後、生成音を専門家が選別する。研究用の比較材料としての利用案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既存の水中マイク録音から、専門家がコーダ区間と自然音のラベルを確認する。調整には動物音声と注釈付きコーダを用意し、対象の収録条件に合わせる。リズムも評価する場合は、その型のラベルを別に確認する。
保留した録音を入力して合成音を作り、調整前のVampNetの出力を基準に、同じ条件で算出したFADを比較する。専門家には音の由来を伏せて自然音か合成音かを判定してもらい、クリックの形と背景雑音への指摘も記録する。
限界と課題
著者らは、音声を記号に変換するコーデックを固定し、隠した記号を予測する部分だけを追加学習した点を技術的制約とする。音楽で学習したコーデックでは、クジラの細かな音響特徴を十分に表せない可能性がある。
専門家はクリックの不自然な立ち上がりや減衰、背景雑音の揺れなどを指摘した。著者らも、生成音が再生実験に必要な品質に達していない可能性を述べる。編集上の検証事項は、収録条件を変えた際の品質と、合成音を元録音と区別して管理する方法だ。
出典
元のタイトル・要旨を確認する（英語）
WhAM: Towards A Translative Model of Sperm Whale Vocalization
Sperm whales communicate in short sequences of clicks known as codas. We present WhAM (Whale Acoustics Model), the first transformer-based model capable of generating synthetic sperm whale codas from any audio prompt. WhAM is built by finetuning VampNet, a masked acoustic token model pretrained on musical audio, using 10k coda recordings collected over the past two decades. Through iterative masked token prediction, WhAM generates high-fidelity synthetic codas that preserve key acoustic features of the source recordings. We evaluate WhAM's synthetic codas using Fréchet Audio Distance and through perceptual studies with expert marine biologists. On downstream classification tasks including rhythm, social unit, and vowel classification, WhAM's learned representations achieve strong performance, despite being trained for generation rather than classification. Our code is available at https://github.com/Project-CETI/wham
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01