アーカイブ / Audio
物語を聴く人の脳波から音声の周波数パターンを推定するSSM2Mel
SSM2Mel
SSM2Melの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The overall framework of this study. This framework is composed of an ESM block, an S4-UNet, ExternalAttention, and a backbone network. In which ⊗ \otimes represents matrix multiplication, and ⊕ \oplus represents residual connection.
概要
- EEGと被験者IDから、聴取音声に対応するメルスペクトログラムを推定する。
- ESM、S4-UNet、外部注意、MambaとMHSAを組み合わせ、局所的な特徴と長い系列を処理する。
- SparrKULeeでのピアソン相関は概要と表で0.069、結果の文章で0.068と記載が食い違う。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SSM2Melの仕組み
- 01EEGと被験者ID
- 02ESMで特徴を調整
- 03S4-UNetと外部注意
- 04MambaとMHSA
- 05メルスペクトログラム
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SSM2Melは、物語を聴く人の脳波から、その音声に対応する周波数パターンを推定する。EEGは頭皮上の電気信号を記録する方法で、出力するメルスペクトログラムは、音の周波数成分の時間変化を表すデータである。
単語や文字に対応する短い反応に加え、続く音声の特徴を追うには長い信号列を扱う必要がある。著者らは、連続音声のメルスペクトログラムをEEGから再構成する課題に取り組んだ。
手法
まずEEGと被験者IDをESMに入れ、参加者に応じて信号の表現を調整する。次にS4-UNetが短い区間の特徴を取り出し、外部注意が抽出された特徴を処理する。S4とMambaは、系列の情報を内部状態に反映して処理する状態空間モデルを基にした構成である。
後段では、MambaとMHSAが特徴を処理する。MHSAは複数の時点の関係に重みを付ける仕組みで、後段にはESMで処理した特徴も取り込まれ、最後に線形層がメルスペクトログラムを出力する。たとえば物語聴取中のEEGは、推論時に5秒区間ごとに処理して出力を連結する。学習には、元音声から得た正解との絶対誤差とピアソン相関を用いる。
新規性
著者らの提案は、EEGの局所的な特徴を取り出すS4-UNetと、長い系列を扱うMambaを一つの再構成モデルに組み込んだ点にある。Mambaの後段には、時点間の関係を扱うMHSAも組み合わせる。
さらに、被験者IDを反映するESMと、特徴抽出に使う外部注意を加えた。部品を外した実験も報告されているが、それぞれの効果は記載されたデータと評価条件での結果である。
従来手法との違い
SparrKULeeでのメルスペクトログラム再構成について、著者らの表はVLAAIが0.050、HappyQuokkaが0.052、ConvConcatNetが0.058、同モデルのアンサンブル版が0.063と報告する。アンサンブルは複数の予測を組み合わせる方法を指す。
部品を外した場合のピアソン相関は、S4-UNetなしで0.057、外部注意なしで0.061、ESMなしで0.063だった。Mambaのみは0.051、MHSAのみは0.057と記載されている。これらは同論文に記載された条件での比較である。
実験結果
著者らは、オランダ語話者85人がフラマン語の物語を聴いたSparrKULeeで評価した。各人の試行は約15分が8～10回で、EEGは雑音の処理と再基準化を経て64 Hzに間引かれた。記載された分割は学習80％、検証10％、テスト10％で、学習と推論には5秒区間を使う。
メルスペクトログラム再構成の表では、予測と正解の連動を測るピアソン相関がSSM2Melで0.069、VLAAIで0.050とされる。表の38％向上はVLAAIを基準にした割合である。ただし結果の文章はSSM2Melを0.068と記しており、報告値が一致しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：物語の聴取中に得たEEGに、元音声の時間的な特徴がどの程度含まれるかを調べる研究実験に使う。入力として頭皮上のEEGセンサーで記録した信号、被験者ID、時刻を対応付けた再生音声をそろえ、音声から作るメルスペクトログラムを学習用の正解データにする。
測定条件に合わせてEEGを前処理し、モデルを学習する。別に確保した聴取区間のEEGと被験者IDから周波数パターンを推定し、対応する元音声のパターンと照合する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：小規模な聴取実験で、頭皮上のEEGセンサーによる記録、被験者ID、再生音声、両者の時刻対応をそろえる。音声から作るメルスペクトログラムを正解ラベルとし、雑音処理、再基準化、区間分割を測定条件に合わせて整え、学習用データでモデルを適応させる。
同じデータ分割でVLAAIとSSM2Melを評価し、メルスペクトログラムのピアソン相関を比べる。参加者ごとの値、学習に使わない区間の値、5秒区間を連結した後の時刻ずれも確認する。分割が被験者単位かどうかは別途確かめる。
限界と課題
著者らは連続音声、とくに分単位の特徴を正確に再構成することを研究課題として挙げる。一方、記載された実験は物語を聴く人のEEGを用いており、「発話を想像した場合」への性能は示していない。
編集上の検証事項は、学習・検証・テストの分割が被験者単位かどうか、別の日の測定でも結果を保てるか、推定結果が用途に足るかである。また、メルスペクトログラムの相関は概要と表で0.069、結果の文章で0.068と食い違うため、報告値の確認が必要である。
出典
元のタイトル・要旨を確認する（英語）
SSM2Mel: State Space Model to Reconstruct Mel Spectrogram from the EEG
Decoding speech from brain signals is a challenging research problem that holds significant importance for studying speech processing in the brain. Although breakthroughs have been made in reconstructing the mel spectrograms of audio stimuli perceived by subjects at the word or letter level using noninvasive electroencephalography (EEG), there is still a critical gap in precisely reconstructing continuous speech features, especially at the minute level. To address this issue, this paper proposes a State Space Model (SSM) to reconstruct the mel spectrogram of continuous speech from EEG, named SSM2Mel. This model introduces a novel Mamba module to effectively model the long sequence of EEG signals for imagined speech. In the SSM2Mel model, the S4-UNet structure is used to enhance the extraction of local features of EEG signals, and the Embedding Strength Modulator (ESM) module is used to incorporate subject-specific information. Experimental results show that our model achieves a Pearson correlation of 0.069 on the SparrKULee dataset, which is a 38% improvement over the previous baseline.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01