アーカイブ / Audio
心音を二種類の画像に変え、ViTとCNNの予測を統合するENACT-Heart
ENACT-Heart
ENACT-Heartの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2: Overview of the ENACT-Heart Workflow. The flowchart outlines the data preparation, model training, and ensemble process used to combine ViT and CNN predictions.
概要
- 心音からスペクトログラムと波形・スペクトル重心のグラフを作り、ViTとCNNの予測を重み付きで統合する。
- 著者らは処理済みPASCALデータの五分類で正解率97.52%を報告し、同研究のViT単独93.88%、CNN単独95.45%を上回った。
- 患者単位の評価分割と重みの選択方法は確認できず、現場の録音への適用には別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ENACT-Heartの仕組み
- 01心音録音
- 02五秒に分割
- 03二種類の画像化
- 04予測を重み付き統合
- 05五分類の候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ENACT-Heartは、録音した心音を五つの音の区分に分類する。心音には通常の拍動に加え、心雑音、余分な心音、拍動の乱れなどが表れることがあり、分類結果は医療者が確認する音を探す手掛かりになり得る。
元の録音は長さが一定ではなく、背景雑音も含み得る。研究では長さをそろえた心音から二種類の画像を作り、画像認識モデルを組み合わせて分類する。対象は録音の区分であり、病名を確定する課題ではない。
手法
録音を五秒ごとに区切り、五秒未満なら無音で補う。学習データを増やすため、元音声ごとにガウス雑音を加えた九種類も作る。各音声から、時間ごとの周波数の強さを表すスペクトログラムと、波形にスペクトル重心を重ねたグラフを作成する。スペクトル重心は、周波数分布の中心を表す値である。スペクトログラムの作成には195Hzのローパスフィルターを使い、高い周波数の成分を抑える。
スペクトログラムは画像内の離れた部分の関係を扱うViTに、もう一方のグラフは近くの模様を捉えるCNNに入力する。例えば心雑音を含む音声では、両モデルがそれぞれ五分類の予測値を出す。統合時にはViT側の重みを0から1まで0.05刻みで試し、残りをCNN側の重みとして予測値を足し合わせる。
新規性
著者らの提案は、一つの心音から異なる二種類の画像を作り、それぞれに適したモデルの予測を統合する構成にある。時間と周波数の変化を示す画像をViTに、波形と周波数分布の中心を重ねた画像をCNNに与える。
論文はこの構成を「専門家混合」と呼ぶ。ただし、記載された統合式は二つの予測に重みを掛けて足す方式で、入力ごとに重みを変える処理は確認できない。
従来手法との違い
同じ研究内の比較対象は、スペクトログラムを使うViT単独と、波形・スペクトル重心のグラフを使うCNN単独である。ENACT-Heartは両モデルの予測を重み付きで足し合わせる。
著者らが処理済みPASCALデータで報告した正解率は、ViTが93.88%、CNNが95.45%、統合モデルが97.52%だった。本文には別研究の数値も並ぶが、データや分類条件をそろえた比較とは確認できない。
実験結果
著者らはPASCAL Classifying Heart Sounds Challengeの録音を使い、artifact、extrahls、extrastole、murmur、normalの五分類を評価した。元の録音は1〜30秒で、五秒単位に整形した。雑音を加えた九種類と元音声を合わせ、各音声につき計十種類を作っている。
処理済みPASCALデータで、著者らが報告した正解率はENACT-Heartが97.52%、ViT単独が93.88%、CNN単独が95.45%である。表では心雑音のF1スコアが統合モデルで0.99だった。確認できた本文の範囲では、患者単位の評価分割と、採用した重みの値は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：診察時に録音した心音を、医療者が原音を聴き直す際の分類候補として表示する。入力は心音を録音できるセンサーの音声、出力は本文で扱う五分類の候補とし、判定の確定には使わない。
適用には、そのセンサーで集めた録音、各録音に対応する医療者確認済みのラベル、録音条件の記録が必要になる。現場の音声を五秒単位に整え、二種類の画像を作ってから、録音環境に合わせた性能を検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：心音を録音できるセンサーと録音条件を定め、医療者が五分類のラベルを確認した音声を集める。元の患者と録音を追跡できるようにし、患者が学習用と評価用にまたがらないよう分ける。同じ元音声から作る雑音付き音声も同じ側に置く。
論文と同じ五秒への整形と二種類の画像化を試し、CNN単独とViT単独を比較基準に統合モデルを測る。正解率に加え、各分類の適合率、再現率、F1スコアを確認する。重みは評価用データとは別に選び、録音条件や背景雑音が変わる場合も分けて測る。
限界と課題
確認できた本文の範囲では、著者らは分類性能を報告しているが、具体的な失敗条件や臨床運用での制約は示していない。連続監視や診断への利用にも言及するものの、その運用を評価した結果は確認できない。
編集上の検証事項は、患者単位で学習用と評価用を分けたか、同じ元音声から作った雑音付き音声が双方にまたがらないか、重みの選択にどのデータを使ったかである。これらが不明なため、未知の患者や録音環境での性能は判断できない。
出典
元のタイトル・要旨を確認する（英語）
ENACT-Heart -- ENsemble-based Assessment Using CNN and Transformer on Heart Sounds
This study explores the application of Vision Transformer (ViT) principles in audio analysis, specifically focusing on heart sounds. This paper introduces ENACT-Heart - a novel ensemble approach that leverages the complementary strengths of Convolutional Neural Networks (CNN) and ViT through a Mixture of Experts (MoE) framework, achieving a remarkable classification accuracy of 97.52%. This outperforms the individual contributions of ViT (93.88%) and CNN (95.45%), demonstrating the potential for enhanced diagnostic accuracy in cardiovascular health monitoring. These results demonstrate the potential of ensemble methods in enhancing classification performance for cardiovascular health monitoring and diagnosis.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01