アーカイブ / Computer Vision
病理基盤モデルの特徴から細胞分裂像の位置を検出できるか
Pathology Foundation Models as Detection Encoders for Mitotic Figures
Pathology Foundation Models as Detection Encoders for Mitotic Figuresの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the detection pipeline.
概要
- ６種類の病理基盤モデルを固定し、位置ごとの特徴を複数の縮尺に変換して細胞分裂像を検出した。
- MIDOG++では全体更新したResNet-50＋RetinaNetのF1値が0.7917で最高となり、固定H-optimus-0＋RetinaNetは0.7718だった。
- TUPAC16では固定H-optimus-0＋RetinaNetのF1値0.7349が、全体更新したResNet-50＋RetinaNetの0.7193を上回ったが、95％信頼区間は重なる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Pathology Foundation Models as Detection Encoders for Mitotic Figuresの仕組み
- 01病理画像の小領域
- 02位置別の特徴抽出
- 03複数縮尺へ変換
- 04分裂像の候補枠
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、病理画像から細胞分裂像の位置を検出する。細胞分裂像は顕微鏡画像に写る分裂中の細胞で、その数は腫瘍の評価に使われる。病理医は組織全体から数える領域を選び、小さな像を探すため、確認に時間がかかり、判定にもばらつきが生じる。
大量の病理画像で特徴を学んだ基盤モデルは、細胞の分類に使われてきた。しかし、画像や小領域の内容を見分ける特徴に、個々の細胞の位置を示すだけの細かい情報が残っているかは、別に確かめる必要がある。
手法
著者らは病理画像の対象領域を小領域に分け、事前学習済みの基盤モデルから位置ごとの特徴を取り出した。画像全体を要約する情報を除き、小領域内の位置に対応する特徴を二次元に並べ直す。基盤モデル本体は学習中も固定する。
次に、細かい範囲と広い範囲を見る複数の縮尺へ特徴を変換し、RetinaNetなどの検出器に渡す。例えば組織の一領域を入力すると、分裂像の候補を囲む枠が出力される。学習するのは縮尺を変換する中間部分と検出器で、評価時は対象領域を窓をずらしながら調べる。
新規性
著者らは、画像単位で自己教師あり学習した病理基盤モデルの特徴が、小さな細胞分裂像の位置検出にも使えるかを調べた。自己教師あり学習とは、手作業の正解ラベルを使わず、画像から特徴を学ぶ方法を指す。
６種類の基盤モデルを固定し、３種類の検出器と組み合わせて評価した。特にH-optimus-0とVirchowは、検出器を適切に組み合わせると、全体を追加学習した比較モデルに近い結果を示した。
従来手法との違い
比較対象は、画像認識用データで事前学習したResNet-50を検出課題に合わせて全体更新する構成と、固定する構成だった。それぞれに同じ３種類の検出器を組み合わせた。ただし、基盤モデルとResNet-50では検出器へ特徴を渡す中間部分の構成が異なる。
MIDOG++では全体更新したResNet-50とRetinaNetが最高のF1値だった。別データのTUPAC16では固定したH-optimus-0とRetinaNetが最高となった。この順位は、掲載されたデータと設定に限った結果である。
実験結果
著者らは、７種類の領域を含むMIDOG++を患者単位で学習333、検証71、試験71スライドに分けた。異なるデータでの評価には、再ラベル付けされたTUPAC16の学習用データに含まれる乳がん71症例を使った。F1値は検出の適合率と再現率をまとめた指標で、各構成の判定しきい値は検証データで選ばれた。
MIDOG++のF1値は、ResNet-50全体更新＋RetinaNetが0.7917、固定H-optimus-0＋RetinaNetが0.7718だった。TUPAC16では順に0.7193と0.7349だった。著者らはスライド単位で１万回再標本化した95％信頼区間も示しており、TUPAC16の両構成の区間は重なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：病理医が指定した腫瘍組織の画像領域について、分裂中の細胞の候補位置を表示する確認画面を考える。入力は撮像済みの病理画像、出力は候補を囲む枠と、病理医による採否の記録とする。
対象施設の画像と、病理医が細胞分裂像の位置を示した教師ラベルを用意し、中間部分と検出器を学習する。必要な入力は画像であり、追加のセンサーは想定しない。染色や撮像条件の違いに合わせた調整が必要かは、施設の画像で検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象施設の撮像済み病理画像を集め、病理医が細胞分裂像の位置を示した教師ラベルを用意する。患者単位で学習用、検証用、試験用に分け、固定H-optimus-0＋RetinaNetと、全体更新するResNet-50＋RetinaNetを比較する。
追加のセンサーは設けず、画像の染色、撮像条件、対象組織を記録する。学習用データで中間部分と検出器を施設の画像に合わせ、判定しきい値は検証用データで決める。試験用データではF1値、見落とし数、誤検出数に加え、病理医が候補を確認する時間を測る。
限界と課題
著者らが挙げる制約は、基盤モデル本体を固定した評価のため、追加学習した場合の到達性能が分からないこと、異なるデータでの評価がTUPAC16の１種類に限られることだ。信頼区間も各構成を個別に見積もっており、構成間の差を直接検定した結果ではない。
編集上の検証事項として、導入先の染色、撮像条件、対象組織によって見落としや誤検出がどう変わるかを調べたい。候補表示が病理医の確認時間や最終判断に与える影響も、この検出性能の結果だけでは分からない。
出典
元のタイトル・要旨を確認する（英語）
Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures
Pathology foundation models (FMs) are models trained on vast amounts of typically unlabeled data and have been shown to yield regularized latent spaces that can be used effectively in downstream classification tasks. This is also true for the classification of mitotic figures vs. other cells. However, it is so far unclear if the latent space of current FMs provides features that are discriminant and spatially suitably resolved to also serve as a backbone for dense object detection paradigms. In this work, we investigate this question for common current pathology FMs (UNI, UNI2-h, Virchow, Virchow2, H-optimus-0, H-optimus-1) and compare their performance against a fully end-to-end trained baseline based on a ResNet50 architecture. We combine FM backbones with representatives of single stage, dual stage and self-attention-based detectors (RetinaNet, Faster R-CNN, Deformable DETR respectively) on the multi-domain MIDOG++ dataset, and on the TUPAC16 dataset as an out-of-domain case. We show that the H-optimus-0 and Virchow models yielded competitive performance, indicating that the latent spaces of current FMs, all trained on image-level self-supervision, are suitable for direct mitotic figure detection and may be slightly more robust on our out-of-domain test case. All code is made available publicly at https://github.com/DeepMicroscopy/FM4MFdet.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01