表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

胆嚢摘出術の全編動画から判定場面を探し、炎症等級を推定するSTC-Net

STC-Net

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

STC-Netの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Examples of different PGS grades from our dataset. The screenshots correspond to the moment at which the PGS grade was assigned. GB stands for gallbladder.

出典:STC-Net / arXiv ↗

概要

  • STC-Netは、腹腔鏡下胆嚢摘出術の全編動画から判定に使う区間を探し、PGSの5段階等級を予測する。
  • 学習に必要な時間情報は動画ごとの代表時刻ひとつで、評価時に人が区間を切り出す必要はない。
  • 非公開データの保留190本で、著者らは正解率62.11%、F1スコア61.42%を報告した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、STC-Netの仕組み

左から右へ読む
  1. 01腹腔鏡の全編映像
  2. 02各時点の特徴
  3. 03判定区間の提案
  4. 04PGS等級

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

STC-Netは、腹腔鏡下胆嚢摘出術の映像から胆嚢周辺の炎症等級を推定する。強い炎症は手術時間の延長や術後合併症のリスクと関係し、症例を教育用に整理する際にも重症度の記録が役立つ。

Parkland Grading Scale(PGS)は、癒着や胆嚢の膨張など、手術の早い段階で見える特徴に基づく5段階の尺度である。全編動画では判定に適した場面が事前に分からない。開始・終了時刻を手作業で付けるには時間がかかる。

手法

まず映像の各時点を、画像内容を数値で表す「特徴」に変換する。学習には動画ごとのPGS等級と、判定に適した代表時刻を使う。時刻を探す部分は、各時点がその代表時刻に当たりそうかを予測する。これは区間の開始と終了を教えない「弱い時間的教師情報」による学習である。

次に、予測値が高い時点の周囲に、映像ごとに長さの異なる候補区間を作る。区間ごとに等級を予測し、最も有力な時点に対応する区間から最終等級を選ぶ。例えば長い手術記録を入力しても、評価時に人が胆嚢観察の場面を指定する必要はない。学習時は代表時刻付近を等級判定に使い、ほかの候補を判定に不要な背景として扱う。

新規性

著者らは、腹腔鏡下胆嚢摘出術の全編動画からParkland Grading Scale(PGS)の等級を推定する方法を提案した。学習に使う時間情報は、動画ごとの代表時刻ひとつで足り、評価時には人による区間の切り出しを要しない。

特徴は、時刻の予測値に応じて候補区間の長さを変えることと、代表時刻から離れた候補を「背景」として学習することにある。

従来手法との違い

著者らが設定したFullは、全編をそのまま等級判定器に渡し、代表時刻を学習にも評価にも使わない。STC-Netは学習時に代表時刻を使い、評価時には動画内の候補区間を自ら探す。両者は同じ事前計算済み映像特徴と判定器の構成を使う。

Trimmedは正解の代表時刻を使って動画を切り出し、学習・評価する条件である。20秒のTrimmedとSTC-Netは正解率が同じだが、Trimmedには評価時にも正解時刻が必要という入力条件の違いがある。

実験結果

著者らは、PGS等級と代表時刻が付いた非公開の腹腔鏡下胆嚢摘出術動画1,859本を用い、このうち保留した190本で評価した。STC-Netの正解率は62.11%、F1スコアは61.42%。F1スコアは、予測の適合率と正解を拾う再現率を合わせた指標である。

同じ評価でFullは正解率51.58%、F1スコア51.42%、正解時刻で切り出す20秒のTrimmedは62.11%、61.37%だった。STC-Netの平均等級差は0.50、予測時刻の平均絶対誤差は89.94と報告された。時刻誤差の単位は確認できた本文の範囲では明記されていない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:手術後の教育用症例整理で、保存済みの腹腔鏡映像を入力し、PGS等級の候補と判定に使った区間を担当者に示す。担当者が区間と全編を確認してから、教材の分類を決める運用を想定する。

検討には、施設内の手術映像、専門家が付けたPGS等級、各映像の代表時刻が必要になる。入力となる撮影機器は腹腔鏡であり、施設の映像に合う特徴抽出器と等級判定器を用意して適応させる。整理作業への有効性は別途確かめる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:自施設の保存済み腹腔鏡映像を集め、専門家にPGS等級と判定に適した代表時刻を付けてもらう。映像以外のセンサーは想定しない。胆嚢摘出術の映像に合う特徴抽出器を用意し、区間探索と等級判定を施設内の映像で適応させる。

症例単位で学習用と評価用を分け、全編を直接判定するFull型を基準にする。保留症例で正解率、F1スコア、平均等級差、代表時刻とのずれを測り、等級別の取り違えも確認する。その結果を見て教材整理での利用を判断する。

限界と課題

著者らは、中間等級、とくに等級2と4で取り違えがあると報告した。また、等級5では全編を使うFullのほうが良い結果を示した。関連区間への絞り込みが全等級で有利とは限らない。リアルタイム対応は今後の課題に挙げている。

編集上の検証事項:データは非公開であり、別施設の映像への適用結果は確認できない。胆嚢摘出術の映像で事前学習した特徴抽出器をどう用意するか、専門家間で等級と代表時刻がどの程度一致するかも、導入前に確認したい。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Learning from Single Timestamps: Complexity Estimation in Laparoscopic Cholecystectomy

Purpose: Accurate assessment of surgical complexity is essential in Laparoscopic Cholecystectomy (LC), where severe inflammation is associated with longer operative times and increased risk of postoperative complications. The Parkland Grading Scale (PGS) provides a clinically validated framework for stratifying inflammation severity; however, its automation in surgical videos remains largely unexplored, particularly in realistic scenarios where complete videos must be analyzed without prior manual curation. Methods: In this work, we introduce STC-Net, a novel framework for SingleTimestamp-based Complexity estimation in LC via the PGS, designed to operate under weak temporal supervision. Unlike prior methods limited to static images or manually trimmed clips, STC-Net operates directly on full videos. It jointly performs temporal localization and grading through a localization, window proposal, and grading module. We introduce a novel loss formulation combining hard and soft localization objectives and background-aware grading supervision. Results: Evaluated on a private dataset of 1,859 LC videos, STC-Net achieves an accuracy of 62.11% and an F1-score of 61.42%, outperforming non-localized baselines by over 10% in both metrics and highlighting the effectiveness of weak supervision for surgical complexity assessment. Conclusion: STC-Net demonstrates a scalable and effective approach for automated PGS-based surgical complexity estimation from full LC videos, making it promising for post-operative analysis and surgical training.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01