アーカイブ / Computer Vision
二時点の画像差から学習画素を選び、建物の変化を検出するSST-CD
SST-CD
SST-CDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Framework of the proposed Selective Self-Training Change Detection (SST-CD) method. A frozen SAM encoder extracts foundation features from bi-temporal images ( I a , I b I_{a},I_{b} ). These are then calibrated by a Feature Adapter to suppress environmental noise. Their absolute difference is passed to a cross-attention decoder with M = 2 M=2 learnable semantic prototypes (Change / No-Change) to predict the binary change mask Y ^ \hat{Y} . To prevent confirmation bias, a Spatial Selective Loop generates a reliability mask ( G s G_{s} ) based on local spatial prediction variance with a fixed threshold τ \tau , restricting the self-training loss ( ℒ SST \mathcal{L}_{\mathrm{SST}} ) to only confident structural regions.
概要
- 二時点画像の特徴差から仮ラベルを作り、周囲と印が一致する画素だけで建物変化検出器を学習する。
- 著者らの報告では、LEVIR-CD、WHU-CD、DSIFN-CDのF1はそれぞれ83.08%、91.69%、86.60%。
- 実務導入には対象地区の画像対と人が確認した評価用ラベルを用意し、直接二値化する方法と見落とし・誤検出を比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SST-CDの仕組み
- 01二時点画像
- 02SAMで特徴抽出
- 03特徴差から仮ラベル
- 04一致画素で学習
- 05建物変化マスク
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SST-CDは、同じ場所を異なる時期に撮影した画像から、建物の新設・撤去・拡張に当たる領域を探す手法である。出力は各画素について変化の有無を示すマスクで、地図更新などの確認候補を絞る用途が想定される。
建物変化を画素ごとに示す正解ラベルの作成には手間がかかる。一方、二時点の画像差には影、季節による見た目の違い、画像の位置ずれも混ざる。建物に関係する変化を、正解ラベルのない画像対から学ぶことが課題となる。
手法
入力は同一区域の二時点画像である。重みを固定したSAM画像エンコーダーで各画像の特徴を取り、その差をしきい値で二値化して仮ラベルを作る。各画素の印と周囲5×5画素の印の平均とのずれを調べ、ずれが小さい画素だけを学習に使う。選別結果は学習中に固定され、モデル自身の予測では更新しない。
検出器は二時点の特徴を軽量な調整器で整えてから差を取り、変化・無変化に対応する二つの学習可能な代表パターンを使ってマスクを予測する。例えば新築のある画像対では、その場所を変化候補として出す。推論時には回転・反転した8通りの予測を元の向きに戻して平均し、形態学的な後処理で孤立した反応を抑える。
新規性
著者らが主張する新規性は、二時点の特徴差を最終的な変化地図に直結させず、検出器を学習するための仮ラベルに使う点にある。仮ラベルとは、正解ラベルがないときに暫定的な教師信号として使う印を指す。
学習に使う画素は、モデル自身の予測ではなく、固定した仮ラベルと周囲の一致度で選ぶ。特徴を調整する部品と、変化・無変化を表す二つの学習可能な代表パターンも組み合わせる。
従来手法との違い
従来のラベル不要手法には、二時点の特徴差や基盤モデルの応答をしきい値処理などで変化地図にするものがある。SST-CDは特徴差を仮ラベルに変え、周囲と整合する画素を使って建物変化の検出器を学習する。
論文の表では、ラベル不要の比較手法UniVCDよりF1がLEVIR-CDで3.18、WHU-CDで8.59、DSIFN-CDで6.83ポイント高い。教師ありの参照手法BITよりF1が高いのはWHU-CDだけであり、教師ラベルの有無を分けて比較する必要がある。
実験結果
著者らはLEVIR-CD、WHU-CD、DSIFN-CDの二時点画像で、画素単位の建物変化検出を評価した。SST-CDのF1は順に83.08%、91.69%、86.60%。F1は検出した変化の正しさと見落としの少なさを合わせて見る指標で、表中のラベル不要手法では各データセットで最高だった。
UniVCDのF1は同じ順に79.90%、83.10%、79.77%。教師ありのBITは89.81%、90.69%、87.91%である。画像は256×256画素に分割され、テスト用画像対は順に2,048、762、192組と記載される。これらは著者らのデータ分割と評価条件での結果であり、実務地域での精度を示す値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：自治体の地図更新で、同じ地区を異なる日に撮影した航空画像を入力し、新築や解体の確認候補を画素単位の変化マスクとして表示する。担当者が候補と元画像を見比べ、現地確認や資料照合に回す場所を決める。
学習には位置を対応付けた二時点の画像対が必要で、手法の学習段階では建物変化の正解ラベルを使わない。対象地区の撮影画像を集めて仮ラベルの状態を点検し、評価用には人が確認した変化・無変化の画素ラベルを別途用意する。追加のセンサーを使う想定は置かない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象地区の二時点の航空画像を位置合わせして集め、撮影日と解像度を記録する。画像対から仮ラベルを作って検出器を学習し、学習時には人手の正解ラベルを入れない。評価用には新築・解体・無変化を人が確認した画素ラベルを、学習画像と分けて用意する。
同じ画像対の特徴差を直接二値化した結果を比較基準にする。評価用ラベルに対するF1に加え、見落としと誤検出を数え、影、位置ずれ、建物境界を含む例を個別に確認する。対象地区への適応は画像の準備と仮ラベルの点検から始め、改善の有無をこの比較で判断する。
限界と課題
著者らは、見た目の変化、位置合わせの誤差、建物以外の変化が紛らわしい特徴差を生むと説明する。局所的に不一致な仮ラベルを学習から外す設計だが、一帯で同じ誤りが生じた場合にも除けるかは示されていない。
編集上の検証事項は、小さな建物や境界の正しい変化まで選別で外れないか、影や季節差のある地区で誤検出が増えないかである。図の説明には「予測の局所分散」とある一方、方法本文では固定した仮ラベルの近傍一致度から選別マスクを作ると記す。この記述差は実装確認が必要となる。
出典
元のタイトル・要旨を確認する（英語）
Spatially Selective Self-Training for Unsupervised Building Change Detection
Unsupervised building change detection aims to learn building-change masks from unlabeled bi-temporal remote sensing images. Existing label-free methods often follow a discrepancy-to-mask paradigm, directly using temporal differences, frozen foundation-model responses, prompt-based outputs, or post-processing results as final change maps. Although these strategies provide annotation-free cues, they do not learn a task-specific building-change detector and remain vulnerable to the gap between generic temporal discrepancies and building-defined structural changes. In practice, such discrepancies are often noisy and task-irrelevant, as appearance shifts, registration errors, and non-building modifications can produce strong but misleading responses. To address this problem, we propose SST-CD, a spatially selective self-training framework that reformulates fully label-free building change detection as end-to-end detector learning under noisy pseudo supervision. SST-CD uses temporal discrepancies as candidate pseudo labels and trains the detector only on spatially reliable pixels, whose reliability is estimated by a local consistency criterion that filters inconsistent regions from supervision. To further stabilize noisy self-training, a lightweight feature adapter recalibrates bi-temporal features, while a prototype-based decoder produces compact change and no-change representations. Experiments on LEVIR-CD, WHU-CD, and DSIFN-CD show that SST-CD achieves F1 scores of 83.08%, 91.69%, and 86.60%, respectively, outperforming existing unsupervised and label-free baselines.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01