アーカイブ / Computer Vision / VLM
少数の正解付き画像で土地被覆を分類するCo2S:CLIPとDINOv3の予測を画素ごとに照合
Co2S
Co2Sの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2 : Overview of the proposed Co2S framework. It integrates a CLIP-based student (top) using text embeddings for explicit semantic guidance and a DINOv3-based student (bottom) using learnable queries for implicit guidance. For unlabeled data, the global-local collaborative fusion strategy enforces training stability by arbitrating supervision based on pixel-wise confidence.
概要
- Co2SはCLIPとDINOv3を別々の学習モデルとして使い、少数の正解付き画像と正解なし画像から画素単位の分類を学ぶ。
- WHDLDの正解付き画像1/24では、mIoUはCo2Sが61.1%、UniMatchが57.4%だった。
- LoveDAの1/8とPotsdamの1/16ではDWLのmIoUがCo2Sを上回り、結果は評価条件によって異なる。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Co2Sの仕組み
- 01正解付き・なし画像
- 02CLIPとDINOv3の予測
- 03画素別の確信度判定
- 04領域分類結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Co2Sは、衛星画像や航空画像の各画素を土地被覆の種類に分ける手法である。この領域分類では、建物や道路などを画素単位で示す正解ラベルが必要になる。広い範囲の画像に人がラベルを付けるには手間がかかる。
少数の正解付き画像と多数の正解なし画像を併用する方法を「半教師あり学習」という。正解なし画像ではモデル自身の予測を仮ラベルとして学習に使うため、誤予測を繰り返し取り込むと誤りが蓄積する。論文はこの仮ラベルのずれを課題とする。
手法
学習には、画素単位の正解ラベルがある画像と、正解のない画像を使う。画像と文章の対応を学んだCLIPには、分類項目の説明文から作った特徴を与える。画像から特徴を学んだDINOv3には、学習中に調整する分類用の特徴を与え、それぞれが画素ごとの分類を予測する。正解付き画像では、両者の予測をラベルと照合する。
正解なし画像では、弱く変化させた画像から作る仮ラベルを、強く変化させた画像や特徴を変化させた場合の学習に使う。さらに画素ごとの分類確率から確信度を求め、確信度の高いモデルの予測を低い側の学習に利用する。両者とも基準を下回る画素は、このモデル間の学習から除く。例えば道路の縁でも、画像全体ではなく画素ごとに判定する。
新規性
Co2Sは、事前学習の異なるCLIPとDINOv3を二つの学習モデルとして組み合わせる。CLIPには分類項目を表す文章由来の特徴、DINOv3には学習で調整する分類用の特徴を与え、異なる手掛かりから予測を作る。
正解のない画像では、両モデルの画素ごとの確信度を比べて学習への使い方を決める。著者らは、この仕組みで仮ラベルの誤りの蓄積を抑え、広い範囲の文脈と局所的な細部を補い合わせると説明する。
従来手法との違い
UniMatchは、正解のない画像を弱く変化させたときの予測を、強く変化させた画像などの学習に使う。Co2Sはこの方式を採用したうえで、CLIPとDINOv3による二系統の予測を使い、確信度に応じたモデル間の学習を加える。
比較表には、正解付き画像だけで学ぶOnlySupや、FixMatch、DWLも載る。Co2Sの値が最も高い条件もあるが、LoveDAの正解付き画像1/8やPotsdamの1/16ではDWLが上回る。比較はデータセットと正解付き画像の割合をそろえて読む必要がある。
実験結果
著者らはWHDLD、LoveDA、Potsdamなど六つの遠隔観測データセットで評価した。表の指標mIoUは、分類ごとに予測と正解の重なりを測り、その平均を取った値である。WHDLDの正解付き画像1/24では、Co2Sが61.1%、UniMatchが57.4%、OnlySupが53.6%だった。
一方、LoveDAの正解付き画像1/8ではCo2Sが62.7%、DWLが62.8%だった。Potsdamの1/16でもCo2Sは76.6%、DWLは78.3%だった。著者らは幅広い条件での優位性を述べるが、個別の表にはCo2Sが最高値ではない条件もある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:自治体が航空画像から土地被覆図の更新候補を作る。入力は対象地域の航空画像、建物・道路・植生などの分類項目を表す文章、一部の画像に付けた画素単位の正解ラベル、残りの正解なし画像とする。必要なセンサーは航空画像を取得する撮影手段である。
地域の画像と分類項目に合わせて学習した後、各画素の分類結果を地図上の候補として出力する。担当者が道路の縁や建物周辺を確認し、修正した結果を地図作成に渡す。確認作業を減らせるかどうかは、実際の地域画像で測るべき仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象地域の航空画像を集め、建物・道路・植生などの分類項目を定める。一部の画像には担当者が画素単位の正解ラベルを付け、残りを正解なし画像とする。画像の取得には航空撮影によるセンサーが必要で、分類項目の説明文も対象地域に合わせて準備する。
学習用画像、正解付き画像の割合、評価用画像をそろえ、正解付き画像だけで学ぶ方法とCo2Sを比べる。全体のmIoUに加え、分類ごとの重なり、道路や建物の境界の誤り、担当者の修正量を記録する。地域の画像に合わせた学習後に、改善と確認作業の変化を確かめる。
限界と課題
著者らが課題として挙げるのは、従来の半教師あり学習で誤った仮ラベルが繰り返し使われ、誤りが蓄積することだ。Co2S自体について、どの撮影条件や対象物で失敗しやすいかは、確認できた本文の範囲では明確でない。
編集上の検証事項は、地域や撮影条件を変えたときの分類精度、小さな対象や細い道路の境界、分類項目ごとの誤りである。確信度の高い予測も誤る場合を想定し、二つのモデルが同じ誤分類をした画素を評価用の正解ラベルと照合して確認したい。
出典
元のタイトル・要旨を確認する(英語)
Toward Stable Semi-Supervised Remote Sensing Segmentation via Co-Guidance and Co-Fusion
Semi-supervised remote sensing (RS) image semantic segmentation offers a promising solution to alleviate the burden of exhaustive annotation, yet it fundamentally struggles with pseudo-label drift, a phenomenon where confirmation bias leads to the accumulation of errors during training. In this work, we propose Co2S, a stable semi-supervised RS segmentation framework that synergistically fuses priors from vision-language models and self-supervised models. Specifically, we construct a heterogeneous dual-student architecture comprising two distinct ViT-based vision foundation models initialized with pretrained CLIP and DINOv3 to mitigate error accumulation and pseudo-label drift. To effectively incorporate these distinct priors, an explicit-implicit semantic co-guidance mechanism is introduced that utilizes text embeddings and learnable queries to provide explicit and implicit class-level guidance, respectively, thereby jointly enhancing semantic consistency. Furthermore, a global-local feature collaborative fusion strategy is developed to effectively fuse the global contextual information captured by CLIP with the local details produced by DINOv3, enabling the model to generate highly precise segmentation results. Extensive experiments on six popular datasets demonstrate the superiority of the proposed method, which consistently achieves leading performance across various partition protocols and diverse scenarios. Project page is available at https://xavierjiezou.github.io/Co2S/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




