アーカイブ / Computer Vision
衛星画像による年別の作物分類に、前後の年の情報を反映するTE・HMM手法
TE-HMM Cascade Classification
TE-HMM Cascade Classificationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Flowchart of the proposed cascade-based classification approach, combining a DNN model with an HMM layer.
概要
- TEで年内の衛星観測から作物候補を出し、HMMで前後の年の作物ラベルの関係を反映する。
- 著者らの47作物・六つの農業年のテストでは、追加学習後の平均F1が生成型TE単独70.88％、一次HMM併用73.59％だった。
- 別地域の農地台帳で使うには、圃場境界、複数年の観測、年別正解ラベルを用意し、TE単独と比較して検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TE-HMM Cascade Classificationの仕組み
- 01圃場別の年内観測
- 02TEで年別候補を推定
- 03HMMで前後年を計算
- 04各年の作物ラベル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、同じ農地の作物を複数年にわたって衛星画像から年ごとに分類する。年別の土地被覆図を一年ずつ独立に作ると、作物ラベルが年をまたいでどう並ぶかを判定に使えない。土地の変化を追うには、年ごとの分類結果のつながりが重要になる。
作物は生育に伴って衛星からの見え方も変わるため、一回の撮影だけでは捉えられない特徴がある。この手法は、年内の複数日の観測から得る特徴と、複数年の作物ラベルの関係を合わせて扱う。
手法
入力は、同じ圃場について年ごとに集めた、複数日の衛星観測値である。Transformer Encoder（TE）は、観測時期と波長帯ごとの値の関係から、その年の作物について候補を出す。まず各年の時系列と正解ラベルを使い、TEを年単位で学習する。
次に隠れマルコフモデル（HMM）が、隣接する年の作物の組み合わせやすさを使って各年の候補を調整する。例えば二年分の観測なら、各年の画像に基づく候補を、二年のラベルの関係と合わせて判定する。HMMを学習用ラベルの共起から初期化し、TEとともに教師ありで追加学習する。推論では過去から未来と未来から過去の計算を統合し、各年のラベルを出す。
新規性
年内の衛星画像を読むTransformer Encoder（TE）を、年をまたぐ作物ラベルの関係を扱う隠れマルコフモデル（HMM）の観測モデルとして組み込んだ。各年の画像から得る情報と、作物の並び方に関する情報を段階的に合わせる。
隣接する年の組ごとに遷移確率を推定し、過去から未来、未来から過去の計算を統合する。直前の一年を参照する一次モデルに加え、直前の二年を参照する二次モデルも評価した。
従来手法との違い
比較の基準は、各年の衛星画像時系列をTEだけで分類する方法である。提案法はTEの出力にHMMを重ね、複数年の作物ラベルの関係を各年の判定に反映する。評価では、TE単独より一次・二次HMMを組み合わせた方が平均F1は高かった。
著者らは、通常の最終層を使う識別型TEと、最終層の重みを正規化する生成型TEも比較した。HMMについては、学習用ラベルの共起から初期化した状態と、TEとともに教師ありで追加学習した状態を報告している。結果は、この作物分類データでの比較である。
実験結果
著者らは、オーストリアの衛星画像区画33UVPにある約30万圃場、47作物、2016年9月から2022年9月までの六つの農業年で評価した。Sentinel-2の805回の観測を使い、雲を除く処理は行っていない。各圃場では撮影日ごとに画素値を平均した。作物ラベル系列の類似性を考慮して層を作り、各層から学習・検証・テストへ60％・20％・20％の確率で割り当てた。
著者らのテスト集合での平均F1スコア（作物ごとのF1の平均）は、追加学習後の生成型TE単独が70.88％、一次HMM併用が73.59％、二次HMM併用が73.49％だった。一次HMMを追加学習しない場合は70.16％と報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：農地台帳の年次確認で、作物名を人が再確認する圃場の候補を作る。入力には、対象地域の圃場境界、同じ圃場を追える複数年のSentinel-2観測、学習用の年別作物ラベルが必要になる。地域の作物区分に合わせた学習も行う。
TEが出した年別の候補と、HMMを通した後のラベルを並べ、判定が変わった圃場を確認一覧に載せる。担当者は元の観測と申告記録を照合する。この用途で確認作業が効率化するかは論文の評価対象ではなく、現場で測る必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象地域の圃場境界、複数年のSentinel-2観測、年別の正解作物ラベルをそろえる。圃場を年をまたいで対応付け、撮影日ごとの観測値をまとめる。地域の作物区分に合わせてTEを学習し、学習用ラベルからHMMを初期化して追加学習する。
同じ入力で学習したTE単独を比較基準とし、評価用に分けた圃場で平均F1と作物別F1を測る。TEとHMMで判定が変わった圃場の正誤も確認する。当年中の利用を想定するなら、その時点までの観測だけを使う条件を別に設けて測る。
限界と課題
著者らが将来の課題として挙げたのは、手法を変化検出に組み替えることと、信頼できるラベルが一部だけの条件で学習することである。これらの条件での効果は報告されていない。評価はオーストリアの一つの衛星画像区画で行われた。
編集上の検証事項は、別の地域や年への適用、少数の作物の誤分類、圃場境界と申告ラベルの品質である。前後両方向の計算には後年の観測も使うため、当年中に判定する業務では、その時点で利用できる観測だけを用いた精度を別に確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Bayesian Modelling of Multi-Year Crop Type Classification Using Deep Neural Networks and Hidden Markov Models
The temporal consistency of yearly land-cover maps is of great importance to model the evolution and change of the land cover over the years. In this paper, we focus the attention on a novel approach to classification of yearly satellite image time series (SITS) that combines deep learning with Bayesian modelling, using Hidden Markov Models (HMMs) integrated with Transformer Encoder (TE) based DNNs. The proposed approach aims to capture both i) intricate temporal correlations in yearly SITS and ii) specific patterns in multiyear crop type sequences. It leverages the cascade classification of an HMM layer built on top of the TE, discerning consistent yearly crop-type sequences. Validation on a multiyear crop type classification dataset spanning 47 crop types and six years of Sentinel-2 acquisitions demonstrates the importance of modelling temporal consistency in the predicted labels. HMMs enhance the overall performance and F1 scores, emphasising the effectiveness of the proposed approach.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01