アーカイブ / Computer Vision
実写と合成画像で船舶を学習するRT-DETR：実写50枚での検出評価
RT-DETR with Data Augmentation
RT-DETR with Data Augmentationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Detailed architecture of the RT-DETR model.
概要
- 実写と合成のRGB画像でRT-DETRを学習し、少数派の帆船と航路標識を学習データ内で増やした。
- 著者は実写50枚のテストでmAP@0.5＝0.89を報告した。実写のみの比較行は0.80だが、本文と表題で比較モデル名が一致しない。
- 暗い場面の遠方船や水平線付近の誤検出が課題として挙げられ、現場ごとの実写評価と処理時間の測定が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RT-DETR with Data Augmentationの仕組み
- 01実写・合成RGB画像
- 02枠注釈を変換
- 03RT-DETRを学習
- 04船舶・標識を検出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
海上のRGB画像では、遠方の船が小さく写り、海面との色の差も乏しいことがある。波や反射、明るさの変化も重なるため、沿岸監視や航行支援で使う検出結果には、実際の撮影条件での確認が欠かせない。
位置を示す枠ラベル付きの実写画像を十分に集めにくい点も課題だ。合成画像で学習例を増やせても、実写との見た目の差が残るため、実写画像を使った評価が必要になる。
手法
この方法は、船舶と航路標識に枠ラベルを付けた実写・合成画像で検出器を学習する。学習用画像では、数の少ない帆船と航路標識を別の海上背景へ配置して増やす。YOLO形式の枠注釈は、画像と対象の情報をまとめるCOCO JSON形式へ変換し、検証・テストには実写画像だけを使う。
RT-DETRは画像を複数の細かさで捉えた特徴を統合し、予測の起点となる候補を選んで、対象の種類と位置を出す。例えば遠くの帆船を検出する際に、細い船体の特徴と周囲の情報を扱う構成である。学習時には実写と合成画像の寄与を重み付けする。著者は、推論時に処理層の数を変えて速度と精度を調整できるとも説明する。
新規性
著者が提示するのは、複数の細かさの画像特徴を統合する仕組み、検出候補の選択、実写と合成画像の重み付けを、海上画像の学習工程に組み合わせた構成である。少数派の対象を増やす処理も学習データに加える。
特徴統合と候補選択はRT-DETRにも備わる仕組みとして説明されている。確認できた本文の範囲では、既存のRT-DETRから各部をどう変更したか、重みをどう計算したかまでは特定できない。
従来手法との違い
著者は、実写のみで学習したDETR系モデルを比較対象と説明する。表では「実写のみで学習し、実写で評価」と記す一方、表題はRT-DETRの結果となっており、比較行のモデル名に食い違いがある。
さらに比較行と提案設定では、合成画像の使用に加えて少数派の増強やモデル構成も異なり得る。したがって、両行の差を合成画像だけの効果とは読めない。別の要素分析は、特徴統合、候補選択、重み付けの組み合わせを同じ分割と学習条件で比べている。
実験結果
著者はTDSS-G1のモーターボート、帆船、航路標識を評価した。元の学習用画像は実写199枚と合成3,582枚で、少数派の増強後は計8,993枚。検証49枚とテスト50枚は実写のみで、評価指標のmAP@0.5は、検出枠の重なりが基準以上のときのクラス別平均適合率をまとめた値である。
著者の表では、実写・合成画像で学習した設定の実写テスト結果はmAP@0.5が0.89、適合率0.92、再現率0.91、F1が0.90。実写のみの比較行は順に0.80、0.83、0.83、0.82だった。要素分析では特徴統合だけを有効にした構成がmAP@0.5で0.83、全要素を有効にした構成が0.89と報告される。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：港のRGBカメラ画像から、小型船と航路標識の確認候補を担当者へ示す。入力は撮影画像、出力は対象の種類と画像上の枠とし、担当者が候補を確認して記録する流れを想定する。
学習には、その港の実写画像と船種・標識ごとの枠ラベルが必要になる。合成画像を加える場合は現場の明るさや天候との違いを確かめ、ラベル形式と実写・合成画像の重み付けを現場データに合わせて調整する。現場での精度向上は検証すべき仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場のRGBカメラで撮影した実写画像を、日時と天候を分けて集め、船種と航路標識の位置を枠でラベル付けする。まず実写のみで学習する基準設定を用意し、別に合成画像と少数派の増強を加えた設定を作る。
合成画像の見た目と枠ラベルの変換を点検し、実写・合成画像の重み付けを現場データに合わせて調整する。学習に使わない実写画像で両設定のmAP@0.5、クラス別の見逃し、水平線付近の誤検出、画像1枚当たりの処理時間を測り、担当者の確認作業に使えるか判断する。
限界と課題
著者は、暗い場面の極小または遠方の船は検出が難しく、合成画像と実写の見た目の差が、水平線付近の位置ずれや誤検出につながり得ると述べる。実写テストは50枚で、撮影地点や季節を変えた成績は示されていない。
編集上の検証事項は、港や天候ごとの見逃し、水平線付近の誤検出、クラス別の成績である。確認できた本文の範囲では、重み付けの計算方法、乱数の設定、画像1枚当たりの処理時間が分からず、現場で必要な速度も別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Enhancing Maritime Object Detection in Real-Time with RT-DETR and Data Augmentation
Maritime object detection faces essential challenges due to the small target size and limitations of labeled real RGB data. This paper will present a real-time object detection system based on RT-DETR, enhanced by employing augmented synthetic images while strictly evaluating on real data. This study employs RT-DETR for the maritime environment by combining multi-scale feature fusion, uncertainty-minimizing query selection, and smart weight between synthetic and real training samples. The fusion module in DETR enhances the detection of small, low-contrast vessels, query selection focuses on the most reliable proposals, and the weighting strategy helps reduce the visual gap between synthetic and real domains. This design preserves DETR's refined end-to-end set prediction while allowing users to adjust between speed and accuracy at inference time. Data augmentation techniques were also used to balance the different classes of the dataset to improve the robustness and accuracy of the model. Regarding this study, a full Python robust maritime detection pipeline is delivered that maintains real-time performance even under practical limits. It also verifies how each module contributes, and how the system handles failures in extreme lighting or sea conditions. This study also includes a component analysis to quantify the contribution of each architectural module and explore its interactions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01