アーカイブ / Audio
Perch 2.0は動物の鳴き声をどう識別するか：評価結果と現地導入の確かめ方
Perch 2.0
Perch 2.0の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Australasian bittern. In the famous essay The Bitter Lesson ( Sutton, 2019 ) it was argued that advancements in AI come from simple, general-purpose methods. The ‘bittern lesson’ from Perch 2.0 is that simple, supervised models are difficult to beat. Bitterns are a subfamily of herons; the Australasian bittern pictured here is an elusive, endangered species whose distinctive booming vocalizations can carry long distances. (Image by Imogen Warren licensed under CC BY-SA 4.0 .)
概要
- Perch 2.0は４つのデータ集の計1,542,778件を使い、鳥類以外も含む動物音から種などの予測と転用向けの特徴量を作る。
- 著者らのBirdSet評価では、ランダム区間選択版のAUROCは0.908で、同表のPerch 1.0は0.839だった。
- 現地導入には、対象地域で鳴いた時刻を確認した種ラベルを用意し、見逃し、誤検出、確認作業量を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Perch 2.0の仕組み
- 015秒の単一音声
- 02対数メル画像
- 03音の特徴を抽出
- 04種の予測と特徴量
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Perch 2.0は動物の録音から種の分類結果と、別の音の識別課題にも使える数値の特徴を出す。生物の音を調べる生物音響は、生物多様性の監視に使われる。長い録音を調査員がすべて聞いて記録するには手間がかかる。
収録場所が変われば、背景音や聞こえる種も変わる。さらに、録音に種名が付いていても鳴いた時刻は不明な場合がある。現地で候補を絞るには、こうした録音条件の違いを含めて確かめる必要がある。
手法
Perch 2.0は32キロヘルツの単一チャンネル音声を5秒ずつ受け取り、時間と音の高さごとの強さを表す「対数メルスペクトログラム」に変換する。EfficientNet-B3というネットワークが1536個の数値からなる特徴量を作り、分類器が種などの予測を出す。特徴量は、別の課題向けに分類器を学習するときにも使える。
学習には４つの音声データ集の計1,542,778件を用い、種名と一般的な音の種類を合わせて14,795クラスを扱う。複数の音を混ぜた例も学習し、音の手本との類似度で判定する分類器の予測を、通常の分類器に教える。加えて、切り出した5秒の音がどの元録音から来たかも予測させる。たとえば長い鳥の録音からの切り出しを、種名と元録音の両方に結び付けて学ぶ。
新規性
従来のPerch 1.0は鳥類の録音で学習していた。Perch 2.0は両生類、昆虫、哺乳類などにも対象を広げ、複数の音を混ぜた学習例を使う。
さらに、音の手本との類似度で判定する分類器の予測を別の分類器に教える自己蒸留と、切り出した音の元録音を当てる課題を加えた。著者らは、細かな種の識別が他の生物音課題にも使える特徴の学習に役立つと考察する。
従来手法との違い
Perch 1.0との比較では、学習データの動物群と量、モデルの規模、学習方法がともに変わっている。成績差を一つの変更の効果とは読めない。
BirdSetでは学習済み分類器の予測を使い、BEANSでは特徴抽出部を固定して評価用データで分類器を学習する。BirdSetの表にはAudio ProtoPNet-5とBirdMAE-Lも載るが、BirdMAE-Lには追加学習など条件の異なる行がある。
実験結果
著者らのBirdSet評価では、ランダムに区間を選んで学習したPerch 2.0の学習済み分類器を直接使い、AUROC 0.908、cmAP 0.431、正解率0.665だった。同じ表のPerch 1.0は順に0.839、0.356、0.613である。AUROCは陽性を陰性より高く順位付けできるか、cmAPはクラスごとの平均適合率を集約した指標である。
動物群をまたぐBEANSでは、特徴抽出部を固定し、評価用の学習データで線形分類器を学習した条件の平均正解率が0.838、検出課題の平均mAPが0.415だった。音の手本を使う分類器では順に0.840、0.502と著者らは報告する。これらは分類器を適応させた結果であり、特徴抽出部は追加学習していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：自然保護区の定点録音から、鳥の声が含まれそうな時刻と候補種を調査員に提示する。入力は現地の録音、出力は確認すべき区間の一覧とし、種の確定は調査員が行う。
導入には、現地の録音機材で集めた音声と、対象種および鳴いた時刻を確認したラベルが要る。5秒ごとの特徴量から現地のラベルで分類器を適応させる運用を想定するが、候補提示の精度は現地で確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現地の録音機材で音声を集め、調査員が対象種、鳴いた時刻、声のない区間にラベルを付ける。ラベル付き録音を学習用と評価用に分け、未確認の録音も候補提示の運用を試す入力として確保する。
Perch 2.0で5秒ごとの特徴量を作り、現地ラベルで線形分類器を学習する。同じ評価用録音について、調査員の確認結果を基準に種ごとの見逃しと誤検出、確認が必要な区間数を数える。既存の人手による抽出手順を比較対象にし、作業量も測る。
限界と課題
著者らは、長い録音に種名だけが付いていても、その種が鳴いた時刻は分からないという弱いラベルの問題を記す。また、採用した周波数表現で鳴き声を表せないため、コウモリの録音を学習から除いている。
編集上の検証事項は、現地の機材、背景雑音、地域固有の種でも候補が有用かどうかである。著者らも、評価課題が実際の利用をどれほど反映するかは今後の課題としている。報告された成績は対象の評価課題の範囲で読む必要がある。
出典
元のタイトル・要旨を確認する（英語）
Perch 2.0: The Bittern Lesson for Bioacoustics
Perch is a performant pre-trained model for bioacoustics. It was trained in supervised fashion, providing both off-the-shelf classification scores for thousands of vocalizing species as well as strong embeddings for transfer learning. In this new release, Perch 2.0, we expand from training exclusively on avian species to a large multi-taxa dataset. The model is trained with self-distillation using a prototype-learning classifier as well as a new source-prediction training criterion. Perch 2.0 obtains state-of-the-art performance on the BirdSet and BEANS benchmarks. It also outperforms specialized marine models on marine transfer learning tasks, despite having almost no marine training data. We present hypotheses as to why fine-grained species classification is a particularly robust pre-training task for bioacoustics.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01