アーカイブ / Audio
XyloAudio 2で都市の環境音を4分類：精度と消費電力を測った条件
Neurobench: DCASE 2020 Acoustic Scene Classification benchmark on XyloAudio 2
Neurobench: DCASE 2020 Acoustic Scene Classification benchmark on XyloAudio 2の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Audio preprocessing approach [ 3 ] . a The stages of audio preprocessing in Xylo™Audio 2. Single-channel audio arrives at a microphone ( b ). This passes through a band-pass Butterworth filterbank, and is split into N = 16 N=16 frequency bands ( c ). Filter output is rectified ( d ) before passing through a bank of LIF neurons that smooth and quantize the signals in each band. The result is a set of sparse event channels ( e ), where the firing intensity in each channel is proportional to the instantaneous energy in each frequency band.
概要
- Device Aの1秒音声から4場面を選び、学習41,360件、検証1,320件、評価16,240件で実験した。
- 著者らは学習精度95％、検証精度93％、符号化済み評価データを入力した実機の分類精度80％を報告した。
- 音声符号化の平均電力15マイクロワットは実時間処理、推論の電力と処理時間は加速入力という別条件で測定した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Neurobench: DCASE 2020 Acoustic Scene Classification benchmark on XyloAudio 2の仕組み
- 01単一チャネル音声
- 0216帯域に分割
- 03整流・発火化
- 04SynNetで推論
- 054場面の判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この報告は、マイクが捉えた都市の環境音から場面を判定する課題を扱う。電力に制約がある機器で使うには、正しく分類できるかに加え、音を処理する際の消費電力と判定にかかる時間を確かめる必要がある。
著者らはDCASE 2020の都市環境音データを使い、空港、中程度の交通量の道路、バス移動中、都市公園の4場面をXyloAudio 2で分類した。対象はDevice Aの録音を分割した1秒の音声である。
手法
単一チャネルの音声を、帯域通過フィルターで周波数別の16成分に分ける。各成分を整流し、LIFニューロンに通して発火イベントへ変える。LIFは入力を蓄えながら一部を減衰させ、閾値に達すると発火する仕組みで、帯域ごとの発火頻度が音のエネルギーに対応する。データセットの音声には実機の符号化回路のシミュレーションを使い、イベントを10ミリ秒単位にまとめた。
イベント列をSynNetというスパイキングニューラルネットワークに入力する。これは発火を信号として扱う分類網で、今回の構成は各31ニューロンの中間層を3層、出力を4ニューロンとした。例えばバス移動中の1秒音声なら、4つの出力のうち発火頻度が最も高いものを判定結果とする。学習したモデルは整数値に量子化して実機へ配置した。
新規性
著者らの報告は、新しい分類器を提案するものではない。DCASE 2020の都市環境音から4場面を選び、音声のイベント化、学習した分類網の実機配置、精度測定までを一つの課題として扱っている。
音声符号化回路と推論回路の電力も報告した。ただし前者は実時間の連続動作、後者は符号化済みデータを加速して入力する条件で測られており、測定値の条件は異なる。
従来手法との違い
外部の分類器や別のチップを使った数値上の比較基準は、確認できた本文の範囲では示されていない。学習精度95％、検証精度93％、実機での評価用データの精度80％は、それぞれ対象のデータ分割が違うため、その差だけで実機配置による精度低下とは判断できない。
処理条件にも違いがある。音声符号化回路は入力音を実時間で処理し、推論回路の時間と電力は事前にイベント化した音声を加速入力して測った。報告値を他方式の優劣や、音声入力から判定までの連続動作の性能として読むことはできない。
実験結果
著者らはTAU Urban Acoustic Scenes 2020 MobileのDevice Aから4場面を選び、1秒音声を学習41,360件、検証1,320件、評価16,240件に分けた。300エポックの学習後、学習精度95％、検証精度93％を報告。符号化済み評価データを実機へ入力した分類精度は80％だった。
音声符号化回路の平均電力は、評価用音声を実時間で連続処理した条件で15マイクロワット。推論回路では符号化済み音声を加速入力し、1秒音声を10件ずつまとめて測った平均処理時間は1件84ミリ秒だった。推論回路の待機時電力351マイクロワット、動作時電力692マイクロワット、動作時の1件当たりエネルギー57.6マイクロジュールも報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：交通環境の現地調査で、対象を報告と同じ空港、中程度の交通量の道路、バス移動中、都市公園に絞り、録音を1秒ごとの場面候補に整理する。入力は単一チャネルの音声、出力は4場面の候補とし、担当者が録音と照合する。
試行には、調査で使うマイクの録音と、各区間に付けた正解の場面ラベルが必要になる。収録機器や場所がDevice Aのデータと異なる場合は、その条件の音声を集め、音声の変換と分類モデルを調整してから評価する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用予定のマイクで4場面の単一チャネル音声を収録し、1秒ごとに担当者が正解ラベルを付ける。場所や収録機器が異なる音声も含め、学習用と評価用を分ける。16帯域への変換と4分類モデルは、実際の収録条件に合わせて調整する。
比較基準として、同じ評価音声に対する担当者の場面判定を残す。モデルの正解率と場面別の誤分類を確認し、収録場所や機器ごとにも結果を分けて見る。実機で試す場合は、音声符号化と推論の電力、および音声入力から判定までの時間を連続動作で測る。
限界と課題
著者が限界として明記した事項は、確認できた本文の範囲では見当たらない。実験対象は元データの10場面のうち4場面、収録機器はDevice Aに限られる。報告された精度が別の場面、都市、マイクでも得られるとは示されていない。
編集上の検証事項は、未使用の収録場所や機器での誤分類、場面が切り替わる区間での判定、連続運用時の電力である。音声符号化と推論は別条件で電力を測っているため、両者の値から実運用時の総電力や音声入力から判定までの遅延を確定できない。
出典
元のタイトル・要旨を確認する（英語）
Neurobench: DCASE 2020 Acoustic Scene Classification benchmark on XyloAudio 2
XyloAudio is a line of ultra-low-power audio inference chips, designed for in- and near-microphone analysis of audio in real-time energy-constrained scenarios. Xylo is designed around a highly efficient integer-logic processor which simulates parameter- and activity-sparse spiking neural networks (SNNs) using a leaky integrate-and-fire (LIF) neuron model. Neurons on Xylo are quantised integer devices operating in synchronous digital CMOS, with neuron and synapse state quantised to 16 bit, and weight parameters quantised to 8 bit. Xylo is tailored for real-time streaming operation, as opposed to accelerated-time operation in the case of an inference accelerator. XyloAudio includes a low-power audio encoding interface for direct connection to a microphone, designed for sparse encoding of incident audio for further processing by the inference core. In this report we present the results of DCASE 2020 acoustic scene classification audio benchmark dataset deployed to XyloAudio 2. We describe the benchmark dataset; the audio preprocessing approach; and the network architecture and training approach. We present the performance of the trained model, and the results of power and latency measurements performed on the XyloAudio 2 development kit. This benchmark is conducted as part of the Neurobench project.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01