表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

3D医用画像の領域分割でMambaを検証:3D畳み込みと多尺度処理の効果

UlikeMamba

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • 著者らは、U字型の3D分割網でMamba層とTransformer層を比較し、Mamba層内の畳み込みを1Dから3Dに変更した。
  • 表1の平均DiceはUlikeMamba_3dが87.45、UlikeTrans_SRAが85.97、UlikeMamba_1dが85.53だった。
  • MSv4を加えた平均Diceは88.01。ただしBraTSではMSv4を加えない場合より低く、データごとの確認が必要である。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、UlikeMambaの仕組み

左から右へ読む
  1. 013D医用画像
  2. 023D畳み込みで縮小
  3. 03Mambaで特徴処理
  4. 04拡大して領域マスク

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

3D医用画像の領域分割は、CTやMRIの立体画像で臓器や病変に属する位置を判定し、領域を取り出す処理である。輪郭確認や手術計画に関わるため、細かな境界と離れた部位の関係をともに捉える必要がある。

畳み込み網は近くの特徴を扱うが、広い範囲の関係を捉えにくい。Transformerは位置同士の関係を計算できる一方、高解像度の3D画像では計算量とメモリ消費が課題となる。

手法

UlikeMambaは、入力画像から特徴を段階的に取り出す符号化器と、特徴を拡大して位置ごとの判定に戻す復号器を持つ。各段階では3D畳み込み後の特徴を一列に並べ、Mamba層に渡す。Mambaは、状態空間モデルという、前の情報を受け渡しながら系列を処理する仕組みを使う。符号化器の細部情報は対応する復号段階にも渡される。

著者らはMamba層内の深さ方向別畳み込み、つまり特徴の種類ごとに近傍を調べる処理を、1Dから3Dに変更した。MSv4では大きさの異なる三つの3D畳み込みの結果を結合し、Mambaで処理する。実験ではMSv4を符号化器の段階に適用した。例えば腹部CTを入力すると、各位置の臓器領域を示す立体マスクを出力する。

新規性

著者らは、Mambaを使うU字型分割網で、系列上の近傍を見る1D畳み込みを、立体画像の隣接関係を見る3D畳み込みに変更した。同じ構造のTransformer網と比較し、この変更の効果を調べている。

さらに、異なる大きさの3D畳み込みをMamba層内で組み合わせるMSv4を設計した。画像を読む方向も検討し、立体の3軸に沿うTri-scanを提案している。

従来手法との違い

基本比較では、符号化器と復号器の構造をそろえ、系列を処理する層をMambaにしたUlikeMambaと、TransformerにしたUlikeTransを比べた。通常の自己注意を使うUlikeTransはメモリ不足となり、定量比較には空間解像度を縮めて計算するSRA版を使った。

表1では、UlikeMamba_3dの平均DiceはUlikeTrans_SRAを上回る。一方、1D畳み込みのUlikeMamba_1dは平均DiceでSRA版を下回るため、Mamba層への置換だけで精度が上がったとは言えない。

実験結果

著者らは、AMOSの腹部CT 300件・15臓器、TotalSegmentatorのCT 1,228件・117構造、BraTS 2021の1,251人・4種類のMRI画像を用いた。AMOSは公式の学習・検証分割、TotalSegmentatorは公式の学習・テスト分割、BraTSは80%を学習、20%をテストに使った。

表1の3データセット平均Diceは、UlikeTrans_SRAが85.97、UlikeMamba_1dが85.53、UlikeMamba_3dが87.45。Diceは予測領域と正解領域の重なりを表す。表2ではMSv4を加えたUlikeMamba_3dが平均88.01、TotalSegmentatorで84.50、BraTSで90.06だった。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:院内の腹部CTから臓器輪郭の下書きを作る。入力は利用を認められた3DのCT画像、出力は対象臓器ごとの立体マスクとし、担当者が元画像と重ねて確認・修正する。追加の計測センサーは使わない想定である。

院内への適応には、対象の撮影条件を含むCT画像と、専門職が立体画素ごとに付けた臓器ラベルが必要になる。臓器名と輪郭の定義をそろえ、院内データで調整・検証する構想であり、作業時間の短縮は仮説である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象を腹部CTの臓器分割に絞る。学習元として対象の撮影条件を含むCT画像と、専門職が立体画素ごとに付けた正解ラベルを用意する。入力はCT画像で、追加の計測センサーは設けない。臓器の定義と画像形式をそろえ、患者単位で学習用と検証用に分ける。

同じ院内データでUlikeMamba_3dを調整し、比較対象のUlikeMamba_1dも同条件で評価する。全体と臓器別のDiceに加え、輪郭の修正時間、1件当たりの推論時間とメモリ使用量を測る。撮影条件別の失敗例も確認して採用を判断する。

限界と課題

著者らは、通常の自己注意を使うUlikeTransが3D画像ではメモリ不足となり、定量比較できなかったと報告する。また、Tri-scanは計算コストが高いと述べる。表2では、MSv4を加えた場合のBraTSのDiceは、加えない場合より低い。

編集上の検証事項は、施設や撮影条件が変わった場合の精度、臓器別の失敗例、推論時のメモリ使用量と修正時間である。確認できた本文の範囲では、各走査法や最終統合モデルの定量表、臨床作業での評価結果は示されていない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

A Comprehensive Analysis of Mamba for 3D Volumetric Medical Image Segmentation

Mamba, with its selective State Space Models (SSMs), offers a more computationally efficient solution than Transformers for long-range dependency modeling. However, there is still a debate about its effectiveness in high-resolution 3D medical image segmentation. In this study, we present a comprehensive investigation into Mamba's capabilities in 3D medical image segmentation by tackling three pivotal questions: Can Mamba replace Transformers? Can it elevate multi-scale representation learning? Is complex scanning necessary to unlock its full potential? We evaluate Mamba's performance across three large public benchmarks-AMOS, TotalSegmentator, and BraTS. Our findings reveal that UlikeMamba, a U-shape Mamba-based network, consistently surpasses UlikeTrans, a U-shape Transformer-based network, particularly when enhanced with custom-designed 3D depthwise convolutions, boosting accuracy and computational efficiency. Further, our proposed multi-scale Mamba block demonstrates superior performance in capturing both fine-grained details and global context, especially in complex segmentation tasks, surpassing Transformer-based counterparts. We also critically assess complex scanning strategies, finding that simpler methods often suffice, while our Tri-scan approach delivers notable advantages in the most challenging scenarios. By integrating these advancements, we introduce a new network for 3D medical image segmentation, positioning Mamba as a transformative force that outperforms leading models such as nnUNet, CoTr, and U-Mamba, offering competitive accuracy with superior computational efficiency. This study provides key insights into Mamba's unique advantages, paving the way for more efficient and accurate approaches to 3D medical imaging.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01