アーカイブ / Computer Vision
内視鏡の連続映像から位置と向きを追うREMOTE：画像と画素の動きを統合
REMOTE
REMOTEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The pipelines of the proposed network and previous methods (categorized into the structures of A, B and C) to estimate relative pose of endoscopes. A : feature of adjacent observations are extracted separately and then concatenated [ 15 ] , [ 7 ] . B : the feature is extracted from the concatenation of adjacent observations [ 9 ] , [ 10 ] , [ 16 ] . C : based on A, LSTM layers are used in the end [ 8 ] , [ 14 ] .
概要
- REMOTEは連続する内視鏡画像と画素の動きから相対姿勢を予測し、既知の開始姿勢から現在の位置と向きを計算する。
- 著者らの表Iでは、３データセットの絶対並進誤差が掲載された既存手法より小さかった。速度試験の平均は順に31、33、94フレーム／秒だった。
- NEPoseの被験者数には本文中で食い違いがある。導入時には対象映像と正解姿勢を用い、未学習の経路で誤差と速度を検証する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、REMOTEの仕組み
- 01連続する内視鏡画像
- 02画素の動きを推定
- 03画像と動きの特徴を抽出
- 04相対姿勢を予測
- 05現在姿勢を算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
REMOTEは、連続する内視鏡画像からカメラ自身の移動と向きを追う方法だ。体内は視野が狭く通路も入り組むため、撮影位置の把握は内視鏡の誘導やロボット操作に関わる。
著者らによれば、外部の光学追跡は人による遮蔽、磁気追跡は医療機器の電磁場の影響を受け得る。映像から追跡する場合にも、位置・向きの誤差を抑えながら、連続画像を十分な速さで処理する必要がある。
手法
入力は現在と直前の内視鏡画像である。まず光学フロー、つまり対応する画素が画像間でどちらへ動いたかを推定する。２枚を個別に読んだ特徴、２枚を結合して読んだ特徴、光学フローから読んだ特徴を取り出す。例えば腸内を進む映像では、壁の見え方と画面内の動きを合わせ、２時点間の移動と回転を予測する。
結合画像には、場所や特徴の種類に応じて重みを付ける注意機構を使う。統合した特徴を姿勢デコーダで相対姿勢に変え、既知の開始姿勢から順につないで現在姿勢を算出する。学習には２時点の正解姿勢が必要だ。光学フロー推定器は、従来法のDual TVL1で算出した結果を目標として、対象画像向けに追加学習する。
新規性
REMOTEは、２枚の画像を個別に読んだ特徴、結合して読んだ特徴、画素の動きから得た特徴を統合し、内視鏡の相対姿勢を推定する。姿勢とは位置と向きの組み合わせを指す。
結合画像には、画像内の場所と特徴の種類に応じて情報に重みを付ける注意機構を設けた。統合後の特徴から移動と回転を読み出す姿勢デコーダも提案している。
従来手法との違い
論文は、連続画像を個別に処理する方式、結合して処理する方式、時系列の特徴を使う方式を先行研究として整理する。REMOTEは画像間の画素の動きも取り込み、３種類の特徴を統合して相対姿勢を求める。
表の既存手法との比較では、３データセットすべてで絶対並進誤差が最小だった。ただしEndoSLAMの相対並進誤差はYangらの手法が4.84 mm、REMOTEが4.93 mmであり、全指標で最良とはいえない。
実験結果
著者らは鼻内視鏡のNEPose、仮想大腸のSimCol、摘出組織を撮影したEndoSLAMで比較した。表Iの絶対並進誤差はREMOTEが順に4.01±2.92 mm、5.43±3.89 cm、9.86±4.28 cm。掲載された既存手法の最小値は順にPoseCorrNetの8.63±5.49 mm、同6.08±4.87 cm、OffsetNetの10.04±5.68 cmだった。
比較用には順に12人から1308フレーム、６経路から1800フレーム、６経路から1482フレームを選んだと記す。速度試験では各データセットから６例ずつ、計18例を選び、平均は順に31、33、94フレーム／秒だった。人数の記述には別箇所との不一致がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：摘出した腸を撮影する内視鏡ロボットの走行記録に、映像から推定した経路を重ねて表示する。運用時の入力は連続映像と既知の開始姿勢、出力は各時点の推定位置・向きと経路とする。
対象環境での調整には、その内視鏡で撮った学習用映像と、各時点の正解姿勢ラベルが要る。ラベル取得には外部の位置計測器などを別途用意する案が考えられる。学習後は記録済みの経路と推定経路を並べ、ずれを確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：摘出腸を対象に、使用予定の内視鏡で学習用映像を集め、外部の位置計測器などで各時点の正解姿勢ラベルを作る。連続画像とラベルで姿勢推定部を調整し、画素の動きの推定器も対象映像から算出した結果で調整する。
運用時は映像と既知の開始姿勢を入力する。同じ未学習の経路で、論文に載るPoseCorrNetなどを比較基準に、絶対並進誤差、相対並進誤差、処理速度を測る。経路の進行につれて位置のずれが増えるかも記録し、用途に合う許容値と照らす。
限界と課題
著者らは、自然画像で学習した光学フロー推定器と内視鏡画像との違いを課題として挙げ、従来法で算出した画素の動きを使って追加学習している。相対姿勢を順につないで現在姿勢を出すため、長い経路での誤差の蓄積は導入先で確かめる必要がある。
編集上の検証事項：NEPoseは全体で16人と記す一方、学習・検証用画像の抽出元を30人と記しており、人数が食い違う。被験者単位の分割方法、内視鏡の機種を変えた場合や遮蔽・急な動きがある場合の精度も確認したい。
出典
元のタイトル・要旨を確認する（英語）
REMOTE: Real-time Ego-motion Tracking for Various Endoscopes via Multimodal Visual Feature Learning
Real-time ego-motion tracking for endoscope is a significant task for efficient navigation and robotic automation of endoscopy. In this paper, a novel framework is proposed to perform real-time ego-motion tracking for endoscope. Firstly, a multi-modal visual feature learning network is proposed to perform relative pose prediction, in which the motion feature from the optical flow, the scene features and the joint feature from two adjacent observations are all extracted for prediction. Due to more correlation information in the channel dimension of the concatenated image, a novel feature extractor is designed based on an attention mechanism to integrate multi-dimensional information from the concatenation of two continuous frames. To extract more complete feature representation from the fused features, a novel pose decoder is proposed to predict the pose transformation from the concatenated feature map at the end of the framework. At last, the absolute pose of endoscope is calculated based on relative poses. The experiment is conducted on three datasets of various endoscopic scenes and the results demonstrate that the proposed method outperforms state-of-the-art methods. Besides, the inference speed of the proposed method is over 30 frames per second, which meets the real-time requirement. The project page is here: remote-bmxs.netlify.app
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01