アーカイブ / VLM / Computer Vision
甲状腺の超音波画像から結節の輪郭を描く、画像と文章の二枝構成
CLIP-TNseg
CLIP-TNsegの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overall architecture of our CLIP-TNseg, with three main components: CGB for extracting high-level semantic features from pre-trained CLIP models, FGB for capturing fine-grained features with residual learning, and PH for generating final segmentation maps.
概要
- CLIP-TNsegは、超音波画像と文章を入力し、甲状腺結節の領域を画素単位で示す。
- 事前学習済みCLIPによる大まかな特徴と、U-Net型の枝による細部の特徴を結合する。
- 著者らは包括データで平均Dice係数91.91％、追加学習なしのTN3Kで87.83％を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CLIP-TNsegの仕組み
- 01超音波画像と説明文
- 02二枝で特徴抽出
- 03特徴を結合
- 04結節の領域画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
甲状腺の超音波画像で結節の輪郭を取ると、大きさや形の確認に役立つ。しかし超音波画像には粒状の雑音、低いコントラスト、影があり、境界が見えにくいことがある。自動で輪郭を示す方法にも、細部の取りこぼしが課題となる。
著者らは、画像だけでは捉えにくい対象の意味を文章から補い、画像中の細かな位置情報も残す方法を試した。出力は診断名ではなく、結節に当たる画素の領域である。
手法
一方の枝は、画像と文章を関連づけて学習済みのCLIPから、結節が何かを示す大まかな特徴を取る。CLIP本体の重みは固定し、文章から得た特徴で画像の特徴を調整する。もう一方の枝はU-Net型の構造で画像を縮小・拡大し、途中の細部情報も後段へ渡して境界を捉える。
二つの枝の出力をつなぎ、最後の予測部分が各画素を結節領域かどうかに分ける。例えば画像に境界の薄い結節がある場合、文章は探す対象を指定し、画像側の細部情報が輪郭の位置を補う。こうして一枚の画像に対する領域マップを出力する。
新規性
CLIP-TNsegは、画像と文章を扱う事前学習済みCLIPの特徴と、細かな位置情報を拾うU-Net型の枝を並列に使う。文章が示す対象の大まかな特徴と、超音波画像の局所的な境界情報を結合する構成である。
著者らは独自収集のPKTN画像も含めて評価し、各枝の出力を止める比較で両方が性能に寄与することを調べた。新規性の中心は、この二種類の特徴の組み合わせにある。
従来手法との違い
論文では、画像だけを使うFCN、U-Net、Attention U-Netと、画像と文章を使うCLIPSeg、TGANet、LViTを比較した。著者らは、比較対象を同じ包括データで学習させたと記している。
包括データでは、最も近い比較値のLViTが平均Dice係数91.24％、提案法は91.91％だった。別のTN3KではCLIPSegの85.69％に対し87.83％で、著者らはTN3Kで追加学習をしていないと述べる。
実験結果
著者らは公開データ、独自収集のPKTN、追加画像からなる包括データと、別の公開データTN3Kで評価した。PKTNは1,005枚で、臨床担当者が輪郭を付け、経験の長い担当者が確認した。指標は領域の重なりを測る平均IoU、平均Dice係数、結節部分のIoUである。
包括データで提案法は順に86.85％、91.91％、76.52％、TN3Kでは81.29％、87.83％、69.05％だったと著者らは報告する。片方の枝の出力をゼロにする実験では、両枝を使う場合より各指標が下がった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：超音波画像の計測補助として、検査担当者が撮った甲状腺画像と「甲状腺結節」の説明文を入力し、結節の候補領域を画像上に重ねる。出力は画素ごとの領域で、担当者が境界を確認・修正する。
修正前後の輪郭を残し、サイズや形状の確認に使う。境界が不鮮明な画像は担当者へ目立つ形で戻し、モデルの領域をそのまま診断結果とは扱わない。検査現場の手順に組み込めるかを確認する用途である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：担当者が輪郭を確認済みの画像を、撮影元と結節の特徴が偏らないように評価用へ分ける。現行の輪郭作成手順と画像のみのモデルを基準に、同じ画像で領域の一致度と修正時間を測る。
平均値だけでなく、境界が不鮮明な例や小さな結節での見落としを記録する。文章入力を統一した場合と表現を変えた場合も比べる。結果は担当者が確認する補助表示として評価し、診断の正しさは別の手順で扱う。
限界と課題
確認できた本文の範囲では、著者らは包括データと別のTN3Kで良好な数値を報告するが、実際の診療手順で読影や判断がどう変わるかは評価していない。比較実験は輪郭の一致度を中心にしている。
編集上の確認点は、施設や装置が変わった画像、境界の曖昧な結節、小さな結節での誤差である。文章入力の表現が変わったときの安定性や、医師が修正に要する時間も、導入前に別途調べる必要がある。
出典
元のタイトル・要旨を確認する（英語）
CLIP-TNseg: A Multi-Modal Hybrid Framework for Thyroid Nodule Segmentation in Ultrasound Images
Thyroid nodule segmentation in ultrasound images is crucial for accurate diagnosis and treatment planning. However, existing methods face challenges in segmentation accuracy, interpretability, and generalization, which hinder their performance. This letter proposes a novel framework, CLIP-TNseg, to address these issues by integrating a multimodal large model with a neural network architecture. CLIP-TNseg consists of two main branches: the Coarse-grained Branch, which extracts high-level semantic features from a frozen CLIP model, and the Fine-grained Branch, which captures fine-grained features using U-Net style residual blocks. These features are fused and processed by the prediction head to generate precise segmentation maps. CLIP-TNseg leverages the Coarse-grained Branch to enhance semantic understanding through textual and high-level visual features, while the Fine-grained Branch refines spatial details, enabling precise and robust segmentation. Extensive experiments on public and our newly collected datasets demonstrate its competitive performance. Our code and the original dataset are available at https://github.com/jayxjsun/CLIP-TNseg.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29