アーカイブ / Computer Vision / Generative AI
脳CTの血腫分類に向け、画像特徴を条件に拡散モデルを事前学習する
Representation-Conditioned Latent Diffusion Transformer
Representation-Conditioned Latent Diffusion Transformerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Latent Diffusion Transformer
概要
- ViTが抽出した特徴を条件に、ラベルを使わない脳CT画像で拡散モデルを事前学習する。
- 施設1の179枚のテスト画像で、著者らはAccuracy 0.9497、F1-score 0.8235を報告した。
- 要旨はゼロショット分類と記す一方、本文の評価手順には施設1のラベル付き画像による調整が含まれる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Representation-Conditioned Latent Diffusion Transformerの仕組み
- 01脳CT断面画像
- 02VAEで潜在画像化
- 03ViT特徴で雑音学習
- 04ラベル別に潜在画像推定
- 05最小誤差で判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
脳CT画像の血腫分類には、医師が付けたラベルが必要になる。著者らは、その作業量を抑えるため、分類に使う前に画像から特徴を学ぶ方法を検討した。実験では複数施設の画像を使い、分類用のラベル付き画像は一施設分に限った。
拡散モデルは、画像に加えた雑音を予測して除く過程を学ぶモデルである。この学習を、血腫の有無を見分けるための事前学習に利用できるかが研究の主題となっている。
手法
まず画像をVAEという圧縮用のモデルで潜在画像に変える。潜在画像は元画像を小さく表した内部データである。ViTという画像特徴を取り出すモデルが潜在画像を読み、その特徴を条件として拡散モデルが加えた雑音を予測する。事前学習では画像に付いたラベルを使わず、ViTと雑音除去ネットワークを同時に更新する。
分類用の調整では特徴条件を外し、血腫あり・なしのラベルを条件にして、施設1のラベル付き画像で雑音除去ネットワークを調整する。テスト時は各ラベルを仮定して潜在画像を推定し、元の潜在画像との差を二乗して平均した値が最も小さいラベルを選ぶ。例えば「あり」で推定した画像の誤差が小さければ、「あり」と判定する。
新規性
著者らの提案は、ViTが取り出した画像の特徴を、雑音除去ネットワークの入力側と各処理ブロックに渡す構成にある。ViTと雑音除去ネットワークを同時に学習し、特徴自体を更新する。
事前学習済みの特徴抽出器を固定して使う方式との違いは、この同時学習にある。分類時には特徴条件をクラスラベル条件に替え、推定した潜在画像の誤差で判定する。
従来手法との違い
分類では、事前学習なしのResNet 50とViT B、未ラベル扱いの画像で事前学習したDINOv2および特徴条件のない拡散モデルと比べた。事前学習ありのモデルは施設2～12の画像を使い、施設1のラベル付き画像で調整している。
特徴条件のない拡散モデルとの比較は、提案した条件付けを加えた場合の差を見るものだ。生成画像の評価には別の比較モデルも含まれるが、分類結果と同じ比較としては扱えない。
実験結果
著者らは12施設の脳CT断面画像を使用した。施設2～12の10,313枚は、付与済みのラベルを使わずに事前学習へ回した。施設1の1,424枚を分類用の調整、178枚を検証、179枚をテストに使用した。四つの血腫マーカーのいずれかがあれば「あり」とする二値分類である。
著者らのテスト結果は、提案法のAccuracyが0.9497、F1-scoreが0.8235、Recallが0.7500、Precisionが0.9130。DINOv2は順に0.8882、0.6875、0.7857、0.6111だった。Accuracyの差は6.15ポイント、F1-scoreの差は13.60ポイントで、RecallはDINOv2の方が高い。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数施設の脳CT断面画像から、血腫の確認候補を読影者に提示する。入力をCT断面画像、出力を血腫あり・なしの予測と確認用の一覧とし、読影者が候補を確認する流れを試す。
事前学習には、対象施設の利用条件を確認したCT画像が必要になる。分類用の調整と評価には、医師による四つの血腫マーカーのラベルを用意し、撮影条件と本文にある前処理に合わせてモデルを調整する。運用上の有用性は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象施設のCT断面画像を集め、施設と患者を識別して分割を管理する。事前学習用にはラベルを使わない画像を、調整・評価用には医師が四つの血腫マーカーを付けた画像を用意する。本文のコントラスト調整、撮影由来の乱れの除去、画像サイズ変更を再現する。
同じ分割と前処理でDINOv2、特徴条件なしの拡散モデルを基準に比べる。Accuracy、F1-score、Recall、Precisionに加え、血腫ありの見逃し数を施設別に確認する。対象施設のラベル付き画像で調整した後、候補一覧が読影者の確認作業に役立つかを測る。
限界と課題
著者らは先行研究を引き、分類時に使う雑音の時点の選択が結果に大きく影響し、その選択には時間がかかると述べる。この実験で時点を変えた際の性能差は、確認できた本文の範囲では数値で示されていない。
編集上の検証事項として、要旨の「ゼロショット分類」と、施設1のラベル付き画像で分類用に調整する本文の手順は区別が必要だ。患者単位での分割、施設をまたぐ分類性能、血腫ありの見逃しが読影に及ぼす影響も確認したい。
出典
元のタイトル・要旨を確認する（英語）
Image Classification Using a Diffusion Model as a Pre-Training Model
In this paper, we propose a diffusion model that integrates a representation-conditioning mechanism, where the representations derived from a Vision Transformer (ViT) are used to condition the internal process of a Transformer-based diffusion model. This approach enables representation-conditioned data generation, addressing the challenge of requiring large-scale labeled datasets by leveraging self-supervised learning on unlabeled data. We evaluate our method through a zero-shot classification task for hematoma detection in brain imaging. Compared to the strong contrastive learning baseline, DINOv2, our method achieves a notable improvement of +6.15% in accuracy and +13.60% in F1-score, demonstrating its effectiveness in image classification.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01