表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

元の学習画像なしで物体検出器を環境に合わせるRT-SFOD

RT-SFOD

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

RT-SFODの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Accuracy-speed-size trade-off in SFOD. We compare state-of-the-art SFOD methods on Cityscapes → \to Foggy Cityscapes domain-shift, in terms of mAP (%) and inference speed (FPS), with model size (# parameters) encoded by color-graded bubble/star size. Our method achieves the best trade-off across all model-scales, obtaining 53.8% mAP with the large model while remaining the fastest (233 FPS) and most compact (7.2 M params) with the small model.

出典:RT-SFOD / arXiv ↗

概要

  • RT-SFODは、元の学習画像を使わず、ラベルなしの対象画像で検出器を適応させる。
  • 二系統の予測枠の選別と、特徴の多様性を保つ学習を組み合わせる。
  • 著者らは霧の道路画像への適応で、大型モデルのmAP 53.8、67 FPSを報告した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、RT-SFODの仕組み

左から右へ読む
  1. 01ラベルなし道路画像
  2. 02二系統の候補枠を統合
  3. 03特徴を保って適応学習
  4. 04物体の検出結果

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

物体検出器は、晴天と霧など撮影環境が変わると、同じ車や人でも見つけにくくなる。元の学習画像を使わず、移行先のラベルなし画像だけで検出器を調整する方法を、ソースフリー物体検出という。

道路映像やロボットでは、検出精度に加えて一秒に処理できる画像数やモデルの大きさも重要になる。著者らは、従来の適応手法が重い検出器に多く依存していた点を課題とし、高速なYOLOv10を基にした方法を検討した。

手法

教師モデルは対象環境の画像から物体の候補枠を予測する。DHFでは、物体一つに一つの予測を対応させる一対一の枠を基準にし、重なりが小さい一対多の枠を選んで補う。この教師が作る仮の正解枠を「擬似ラベル」と呼び、生徒モデルの学習に使う。重複した追加候補は学習中に整理する。

同時にMARDは、小・中・大の物体を扱う特徴から、擬似ラベルの枠内と背景の情報を取り出す。特徴のばらつきを保ち、似た特徴どうしの重複を減らす条件を学習に加える。生徒を更新した後、教師も生徒に追随して更新する。運用時は学習用の二機構を外し、一対一の予測部で検出する。

新規性

RT-SFODの新しい点は、二つの予測部を持つ高速検出器を、元の学習画像なしで環境に適応させるため、擬似ラベルの選別と特徴の多様性を保つ学習を組み合わせたことにある。DHFは見逃しと誤検出の釣り合いを取り、MARDは画像の大きさ別の特徴が似通うことを抑える。

両機構は適応学習中に使い、運用時には標準のYOLOv10として検出する。著者らの説明では、追加機構による推論時の処理負担はない。

従来手法との違い

基準となる単純な教師・生徒学習では、教師の一対一予測だけを使うと見逃しが増え、一対多予測を使うと余分な候補が増える。著者らの観察では、一対一の擬似ラベルは適合率0.923、再現率0.446で、一対多ではそれぞれ0.847、0.469だった。

既存のSFOD手法との比較では、差には適応方法と検出器本体の双方が関わる。著者らは、精度向上にDHFとMARDが寄与し、速度と小ささにはYOLOv10の構成が寄与すると説明している。

実験結果

著者らはCityscapesからFoggy Cityscapesなどの環境変化を評価した。CityscapesからFoggy Cityscapesでは、大型のRT-SFODがmAP 53.8、比較したSF-YOLO大型が51.6だった。mAPは物体の種類ごとの検出精度を平均した指標で、ここでは重なりの判定しきい値0.5を用いる。

同条件で著者らが示す処理速度は67対52 FPS、パラメータ数は2,440万対4,650万である。FPSは一秒当たりの処理画像数を指す。主要結果はFP32のPyTorchで報告され、著者ら自身の結果は三つの乱数条件で平均した。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:晴天画像で学習済みの道路上の物体検出器を、霧の多い道路映像へ合わせる。入力は既存の検出器と、正解枠の付いていない霧の画像であり、出力は霧の映像で車や歩行者の位置を示す適応済み検出器である。

学習時は検出器自身の予測から候補の枠を作り、DHFで採用する枠を決め、MARDを加えて更新する。完成後は映像からの検出結果を人が点検し、見逃しと誤検出を記録する。道路環境を変える実務案であり、現場での有効性は別途検証する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:同じ対象環境のラベルなし画像で、既存検出器のままの場合、単純な教師・生徒学習、RT-SFODを比べる。評価用には少数の画像へ人が物体の枠と種類を付け、適応学習には使わない。

評価ではmAPと種類別の見逃し率に加え、同じ実行条件でFPSと画像一枚の遅延を測る。DHFだけ、MARDだけを加えた場合も測れば、各機構の寄与を確かめられる。速度と精度の両方が必要な水準に届くかで採用を判断する。

限界と課題

著者らは、環境が変わると一対一予測は物体を見逃し、一対多予測には雑音が増え、複数の大きさの特徴表現も区別しにくくなると報告した。擬似ラベルの誤りが適応学習へ入りうる点が、方法の出発点である。

編集上は、対象環境で元の検出器が極端に外れる場合にも候補枠を作れるか、速度測定が実運用条件で再現するかを確認したい。論文の主要結果は指定された道路画像間の適応であり、別の撮影環境や対象物へそのまま広げる根拠にはならない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Real-Time Source-Free Object Detection

Real-world detectors for autonomous driving, surveillance, and robotics must handle domain-shifts under strict latency and memory constraints, yet existing source-free object detection (SFOD) methods rely on heavyweight architectures that prioritize accuracy alone. We show this trade-off is unnecessary: building on YOLOv10, an NMS-free dual-head detector, we achieve state-of-the-art adaptation accuracy while being faster and more compact. We observe that directly applying vanilla mean-teacher self-training to dual-head detectors leads to suboptimal adaptation performance due to two key factors. First, simple pseudo-label generation strategies, such as using a single head or directly combining high-confidence predictions from both heads, yield suboptimal supervision under domain-shift. We propose DHF (Dual-Head Pseudo-Label Fusion) which selectively admits one-to-one (O2O) and one-to-many (O2M) head predictions, preserving precision and recovering missed objects. Second, we observe domain-shift collapses multi-scale feature discriminability. We propose the use of our MARD (Multi-scale Adaptive Representation Diversification) loss which mitigates this by enforcing detection-aware variance and covariance constraints on multi-scale feature maps. Both modules are training-time only, leaving inference unchanged. Across domain-shift benchmarks, our method, RT-SFOD yields 1.4 to 3.5\% mAP gains, 1.3$\times$ higher throughput, with $\sim$2$\times$ fewer parameters than prior state-of-the-art SFOD methods, thus advancing the Pareto frontier of the speed-accuracy-model size trade-off. We report main results with YOLOv10, and demonstrate generalizability with additional YOLO- and DETR-based dual-head detectors. Code is available here: https://github.com/Sairam13001/RT-SFOD/

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-30