表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

骨の高解像度CT画像に生じる動きの乱れを、模擬データで学習して補正する

ESWGAN-GP

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

ESWGAN-GPの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1: Motion artifacts are simulated utilizing the sinogram-based in-plane motion simulation framework. The first two columns display the motion score 1 (motion-free image) alongside the corresponding simulated motion artifacts in the same participant, while the third column represents a real-world motion scenario in a different participant, which is reconstructed using the scanner’s default con-beam reconstruction. The arrows denote the particular artifacts that this study aims to address. The Region of Interest (ROI) is cropped to display only the bone area in the figure.

出典:ESWGAN-GP / arXiv ↗

概要

  • 投影データの一部を回転した骨の投影に置き換え、補正学習に使う画像対を作る。
  • 著者らは558人・93,744枚の断層画像を用い、模擬画像と実際に動きのある画像を評価した。
  • 実画像の指標は動きのない正解との比較ではない。著者らも、模擬した動きが実際の複雑な動きを十分に表さない可能性を挙げる。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、ESWGAN-GPの仕組み

左から右へ読む
  1. 01動きの少ない骨画像
  2. 02投影データを作成
  3. 03一部を回転像と置換
  4. 04画像を再構成
  5. 05断層画像を補正

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

HR-pQCTは、手首やすねの骨を細かく撮る高解像度の末梢骨CTである。密な外層の皮質骨と、内部の網目状の海綿骨を観察できるが、撮影中の動きで筋状の乱れやぼけが生じると、微細構造の評価が難しくなる。

本文によると、撮影には装置や設定によって約2分かかる。動きが強い場合は再撮影が必要になることもあるが、患者の状態や現場の状況によっては難しい。取得済み画像の乱れを減らす方法が求められる。

手法

まず、動きの少ない骨の二次元画像から、撮影角度ごとの情報を並べた投影データを作る。連続する一部を、骨を平面内で回転させた画像の投影データに置き換え、反復計算で再構成する。例えば手首の断層から、撮影途中で骨の向きが変わったような乱れを持つ画像を作り、元画像を学習時の正解にする。

ESWGAN-GPは、その乱れた断層を入力し、動きの少ない画像を推定する。画像を作る側と判定する側を競わせて学ぶモデルに、骨の縁を検出して伝える経路、離れた領域の関係を見る自己注意、細部の見え方を比べる損失を加えた。三次元の撮影結果にも、断層ごとに適用する。

新規性

著者らは、骨が撮影途中に平面内で回転する状況を投影データ上で模擬し、乱れた画像と元画像の対を作った。同じ部位について動いた画像と動かなかった画像を実撮影でそろえる難しさに対応する。

補正モデルには、骨の縁を伝える経路と、画像内の離れた領域の関係を見る自己注意を組み込んだ。模擬データの作成から、再構成した二次元画像の補正までを一連の方法として提案している。

従来手法との違い

本文が挙げる従来の対応は、動きの程度を画像から評価し、必要に応じて再撮影する方法である。動きの評価は画像の品質を示すが、取得済み画像に生じた骨の輪郭の途切れや内部のぼけを補正しない。

著者らは、既存のぼけ除去研究では骨の外層に生じる断裂状の乱れを扱えていないと述べる。提案法は模擬画像と元画像の対から補正を学ぶ。確認できた本文の範囲では、その既存法との同条件での性能差は示せない。

実験結果

著者らは、手首とすねの計4部位について、558人から得た計93,744枚の断層画像を用いた。動きの目視評価で乱れがない画像から模擬データを作り、実際に動きのある画像も試験した。学習用と試験用で同じ参加者が重ならないよう分けている。

要旨では、模擬画像を含むソースデータの構造類似度SSIMが0.81、視覚情報忠実度VIFが0.76、実画像を含むターゲットデータでは順に0.87、0.81と報告する。ターゲットでは元の撮影画像との情報保持を測っており、動きのない正解との比較ではない。要旨のSNRと本文のPSNRは指標名が異なるため、その数値は採らない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:手首のHR-pQCT撮影後、動きが疑われる断層を補正候補として処理し、担当者が元画像と並べて骨の輪郭を確認する。入力は撮影済みの二次元断層画像、出力は各断層の補正画像と比較表示用の画像とする。

準備には、同じ装置で撮った動きの少ない画像、その画像から作る模擬画像との対、動きの目視評価ラベルが要る。施設の画像に合わせて対象領域の切り出しと学習条件を調整し、補正後の画像を診断に使えるかは別途確認する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:施設のHR-pQCTで撮った断層から、動きの目視評価が1の画像を選び、投影データ上で動きを模擬して画像対を作る。元画像を学習時の正解、目視評価を画像選別のラベルとし、参加者単位で学習用と評価用を分ける。対象領域の切り出し方は施設の画像に合わせて調整する。

同じ評価画像で、補正前と補正後を比べる。模擬画像では元画像を基準にSSIMとVIFを測り、実画像では部位と動きの程度ごとに骨の輪郭や細部を専門家が確認する。断層間の連続性も調べ、施設の画像で再学習が必要かを判断する。

限界と課題

著者らは、模擬した動きが実際の撮影中の複雑な動きを十分に表さない可能性を明記している。モデルは二次元の断層を一枚ずつ処理する。本文は断層間で乱れが変わり得ることにも触れている。

編集上の検証事項は、実画像で骨の外層の輪郭や内部の細部が正しく保たれるか、断層を重ねた三次元画像に不自然な差が出ないかである。実画像の指標は動きのない正解画像との比較ではなく、解剖学的な正確さの証明にはならない。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Simulating Sinogram-Domain Motion and Correcting Image-Domain Artifacts Using Deep Learning in HR-pQCT Bone Imaging

Rigid-motion artifacts, such as cortical bone streaking and trabecular smearing, hinder in vivo assessment of bone microstructures in high-resolution peripheral quantitative computed tomography (HR-pQCT). Despite various motion grading techniques, no motion correction methods exist due to the lack of standardized degradation models. We optimize a conventional sinogram-based method to simulate motion artifacts in HR-pQCT images, creating paired datasets of motion-corrupted images and their corresponding ground truth, which enables seamless integration into supervised learning frameworks for motion correction. As such, we propose an Edge-enhanced Self-attention Wasserstein Generative Adversarial Network with Gradient Penalty (ESWGAN-GP) to address motion artifacts in both simulated (source) and real-world (target) datasets. The model incorporates edge-enhancing skip connections to preserve trabecular edges and self-attention mechanisms to capture long-range dependencies, facilitating motion correction. A visual geometry group (VGG)-based perceptual loss is used to reconstruct fine micro-structural features. The ESWGAN-GP achieves a mean signal-to-noise ratio (SNR) of 26.78, structural similarity index measure (SSIM) of 0.81, and visual information fidelity (VIF) of 0.76 for the source dataset, while showing improved performance on the target dataset with an SNR of 29.31, SSIM of 0.87, and VIF of 0.81. The proposed methods address a simplified representation of real-world motion that may not fully capture the complexity of in vivo motion artifacts. Nevertheless, because motion artifacts present one of the foremost challenges to more widespread adoption of this modality, these methods represent an important initial step toward implementing deep learning-based motion correction in HR-pQCT.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01