アーカイブ / Computer Vision
2次元画像モデルの特徴を立体化し、脳MRIの異常を症例間で探す
CoDeGraph3D
CoDeGraph3Dの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Anomaly segmentation on 3D T2-weighted BraTS scans. Yellow contours show ground-truth boundaries, and blue regions denote predicted anomaly masks. Rows illustrate high-, medium-, and low-Dice cases for CoDeGraph3D and APRIL-GAN baselines.
概要
- 学習済みの2次元画像モデルから三方向の断面特徴を取り、脳MRIの局所的な立体特徴へ統合する。
- 著者らの180例の評価では、T2強調MRIの患者単位AUROCが96.9％、ボクセル単位Diceが41.3％だった。
- BraTS-2025 METSで100立方ミリメートル未満の病変の検出率は0.23で、小病変への感度に課題がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CoDeGraph3Dの仕組み
- 013次元脳MRI
- 02三方向の断面特徴
- 03立方体特徴に統合
- 04他症例と距離比較
- 05立体異常度マップ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CoDeGraph3Dは、3次元の脳MRIから異常のありそうな症例と位置を、対象病変に合わせた追加学習なしに探す。ゼロショット異常検出とは、その対象について専用の教師データでモデルを訓練せずに異常を見つける方法を指す。
2次元画像向けモデルでMRIの断面を処理するだけでは、病変の立体的な広がりを扱いにくい。一方、正常な3次元MRIを集めて専用モデルを学習するにはデータ準備が必要になるため、既存の画像モデルを使う方法が研究されている。
手法
前処理したMRIを頭側・正面・側面からの断面に分け、学習済みの2次元画像モデルで小領域ごとの特徴を得る。特徴とは画像の内容を表す数値列である。各方向で隣り合う断面の特徴を平均し、同じ立体座標に対応づける。たとえば脳内の一つの立方体に、三方向から見た情報を集める。
各方向の特徴をランダム射影という固定の数値変換で短くしてから連結し、脳マスクで背景を除く。局所特徴を別症例の特徴と距離で比較し、似たものが見つかりにくい場所に高い異常度を付ける。著者らは、似た異常が複数症例に現れる場合も考慮するCoDeGraphを用い、粗い立体マップを元の画像寸法へ拡大する。
新規性
著者らの提案は、学習済みの2次元画像モデルから得た三方向の断面特徴を、位置のそろった立方体状の局所特徴に変える点にある。断面ごとの異常判定を集約する方法とは処理の順序が異なる。
特徴の次元をランダム射影で減らし、3次元画像でも症例間の距離比較を行えるようにした。対象病変に合わせた追加学習や文章による異常の指定は使わない。
従来手法との違い
WinCLIPは追加学習をしない画像・文章モデルの比較対象である。AnomalyCLIPとAPRIL-GANは工業画像データで学習したモデルを断面に適用し、三方向の結果を集約する。著者らの方法は、立体化した局所特徴を別症例の特徴と比較する。
別枠には、BraTSで教師あり学習した両モデルと、正常なIXI画像で学習した再構成モデルDAEも載る。これらは学習条件が異なる参考値であり、追加学習なしの手法同士の比較とは分けて読む。
実験結果
著者らは正常例のIXIと腫瘍例のBraTS-2025 METSを使用し、各データの20％を評価用に確保した。評価用の115例と65例、計180例をまとめて推論した。T2強調MRIで患者単位AUROCは96.9％、ボクセル単位Diceは41.3％。Diceは異常度マップに最適なしきい値を適用した場合の、予測領域と正解領域の重なりである。
同じT2条件でWinCLIPは患者単位AUROCが23.2％、ボクセル単位Diceが8.1％だった。CoDeGraph3DのT1強調MRIではそれぞれ97.5％、29.5％。BraTS-2025 METSの病変別分析では、100立方ミリメートル未満の病変の検出率が0.23で、1000立方ミリメートル超では0.83だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：研究用に収集した読影済み脳MRIから、再確認する症例と部位の候補を並べる。入力は撮像系列をそろえた3次元MRIと脳領域のマスク、出力は症例ごとの異常度と立体的な異常度マップとする。
位置合わせと画像強度の調整後、複数症例をまとめて処理し、読影者が元画像で候補を確かめる。対象病変の学習ラベルは使わない想定だが、有用性の評価には病変の有無と領域を示す別のラベルが要る。撮像条件が異なる画像には前処理の適合を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：研究用の3次元脳MRIを撮像系列ごとに集め、原研究に沿って位置合わせ、脳領域の抽出、切り出し、画像強度の調整を行う。入力にはMRIと脳マスクを用意し、対象病変の追加学習をせずに複数症例の異常度を計算する。
比較基準には同じ画像を断面ごとに処理するWinCLIPを置く。別途、病変の有無と領域の評価用ラベルを用意し、患者単位AUROC、ボクセル単位Dice、小病変の検出率を測る。撮像条件ごとの成績と症例数に応じた処理時間も確認し、必要な前処理の調整を記録する。
限界と課題
著者らは、固定サイズの立方体に特徴をまとめると、小さく散在する病変や低コントラストの病変が周囲の組織に埋もれ、位置特定の感度が下がり得ると述べる。症例間の特徴比較は、症例数と特徴数の増加に対して計算量が二次的に増えるとも指摘する。
編集上の検証事項として、施設や撮像条件が変わった場合の成績、正常だが珍しい形態への反応を調べたい。似た病変が検査群内で繰り返される条件や小病変を含む条件も分け、読影者に示す候補として使える範囲を確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Training-Free Zero-Shot Anomaly Detection in 3D Brain MRI with 2D Foundation Models
Zero-shot anomaly detection (ZSAD) has gained increasing attention in medical imaging as a way to identify abnormalities without task-specific supervision, but most advances remain limited to 2D datasets. Extending ZSAD to 3D medical images has proven challenging, with existing methods relying on slice-wise features and vision-language models, which fail to capture volumetric structure. In this paper, we introduce a fully training-free framework for ZSAD in 3D brain MRI that constructs localized volumetric tokens by aggregating multi-axis slices processed by 2D foundation models. These 3D patch tokens restore cubic spatial context and integrate directly with distance-based, batch-level anomaly detection pipelines. The framework provides compact 3D representations that are practical to compute on standard GPUs and require no fine-tuning, prompts, or supervision. Our results show that training-free, batch-based ZSAD can be effectively extended from 2D encoders to full 3D MRI volumes, offering a simple and robust approach for volumetric anomaly detection.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01