アーカイブ / Robotics / Computer Vision / Generative AI
走行画像に障害物を合成し、通れない領域を学ぶSyNeT
SyNeT
SyNeTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : High-level concept of our synthetic negative-based traversability estimation. (Top) The robot treats its driving path as positive and introduces synthetic objects as explicit negatives. (Bottom) The pipeline takes an input image, generates a synthetic negative, and produces a similarity map for traversable regions.
概要
- 走行軌跡から通行可能な正例を作り、画像に合成した障害物を明示的な負例として学習する。
- RELLIS-3Dの実画像評価では、LORTとVSのそれぞれにSyNeTを加えると、著者らが報告したAUROCは上がり、FPRは下がった。
- 現地導入には、合成障害物での評価に加え、実物障害物を含む画像に人手で正解を付けた検証が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SyNeTの仕組み
- 01走行画像と軌跡
- 02地面に障害物を生成
- 03物体を切り出し合成
- 04通行可能性の地図
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SyNeTは、ロボットの走行画像から地面を通れるか判断するための学習方法だ。屋外では地面や障害物の見え方が変わるため、通行可否を画素ごとに人が記録した学習データを十分に集めるのは難しい。
自己教師あり学習では、実際に走った経路を「通れる」正例にできる。しかし、走行中に通れなかった例は集まりにくく、未走行の領域をそのまま「通れない」とも決められない。明確な負例の不足が、障害物の判定を難しくする。
手法
まず、SLAMという画像などから位置と軌跡を推定する技術で走行履歴を再構成し、車輪や足の接地点を通行可能な正例にする。画像内であらかじめ定めた地面から挿入位置と物体の大きさを選び、画像の一部を描き直す生成手法で障害物を作る。生成物を切り出して数や面積などの条件を確認し、元画像に合成すると、障害物の画素を示すマスクも得られる。
例えば地面の画像に箱を合成したら、そのマスク内を通行不能な負例として学習に加える。LORTでは負例を表す特徴の中心を学び、VSでは通れる画素と合成障害物の画素を区別する。特徴とは画素の見え方を計算用の数値にしたもので、学習後は画像から通行可能性の地図を出す。
新規性
SyNeTは、走行経験から得る「通れる」正例に加え、画像に合成した障害物の領域を「通れない」負例として明示的に学習させる。正例と未分類領域を使う方式にも、正例と負例を使う方式にも組み込める。
合成時に得た障害物の領域マスクは評価にも使う。挿入物体を通行可能と誤判定する割合を、その物体について追加の人手ラベルを作らずに測れる。
従来手法との違い
比較対象は、通行可能な正例と未分類領域から学ぶLORT、および負例候補も使うV-STRONG（VS）である。VSの負例候補は、走行経路から広げた通行可能領域の外側に由来し、実際には通れる画素が混ざる可能性がある。
SyNeTは両方式の学習に合成障害物の負例を加える。LORTでは負例の特徴をまとめる中心を学び、VSでは正例と合成負例を区別する学習を追加する。著者らによれば、推論時のモデル構成は変更しない。
実験結果
著者らはRELLIS-3Dの人手で正解を付けた実画像900枚と、障害物を挿入した評価画像1,800枚で比較した。実画像のAUROCはLORTの0.935からSyNeT＋LORTの0.979、VSの0.967からSyNeT＋VSの0.973になった。AUROCは判定基準を変えたときの識別性能をまとめる指標である。
通れない画素を通れると誤判定する割合であるFPRは、実画像でLORTが0.100から0.087、VSが0.097から0.083に下がった。合成評価画像では順に0.117から0.103、0.133から0.097だった。著者らはRUOSの合成画像400枚でも、挿入物体の領域内に限ったFPRを判定基準ごとに調べている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：キャンパス内を走るロボットの歩道判定に試す。現地のカメラ画像と、走行軌跡から再構成した車輪の接地点を集め、実際に通った領域を正例ラベルにする。画像内で地面の範囲を指定し、箱などの障害物を合成して負例マスクを作る。
学習したモデルの出力は、画像上の通行可能性を示す地図とする。現地向けに学習し直したうえで経路選択の前に参照する運用を想定する。効果の確認には、実物の障害物と通行可能領域を人手で塗り分けた現地画像が必要だ。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現地のカメラ画像と、SLAMで再構成した走行軌跡を用意し、接地点を正例ラベルにする。地面の範囲を指定して障害物を合成し、切り出した物体のマスクを負例ラベルにする。学習画像の総数をそろえ、LORT単体と、その20％を合成画像に置き換えたSyNeT＋LORTを比べる。
評価用には学習から分けた現地の実画像を使い、通行可能領域と実物障害物を人手で塗り分ける。AUROCとFPRに加え、通れる場所を通れないとする誤判定も測る。合成画像では挿入物体内のFPRを測り、実画像の結果と照らして判断する。
限界と課題
著者らは、合成障害物に物体の欠けや形のゆがみが生じる例を報告している。同じ合成比率で見た比較では画質の不完全さによる性能への影響は小さいとする一方、学習画像の50％を合成画像にした条件では、通行可能領域のスコアのばらつきが増え、改善も頭打ちになったという。
編集上の検証事項は、合成物体での改善が現地の実物障害物にも続くかである。合成物体内の誤判定率だけでは確かめられないため、場所や障害物の種類を分け、人手で正解を付けた実画像でも調べたい。
出典
元のタイトル・要旨を確認する（英語）
SyNeT: Synthetic Negatives for Traversability Learning
Reliable traversability estimation is crucial for autonomous robots to navigate complex outdoor environments safely. Existing self-supervised learning frameworks primarily rely on positive and unlabeled data; however, the lack of explicit negative data remains a critical limitation, hindering the model's ability to accurately identify diverse non-traversable regions. To address this issue, we introduce a method to explicitly construct synthetic negatives, representing plausible but non-traversable, and integrate them into vision-based traversability learning. Our approach is formulated as a training strategy that can be seamlessly integrated into both Positive-Unlabeled (PU) and Positive-Negative (PN) frameworks without modifying inference architectures. Complementing standard pixel-wise metrics, we introduce an object-centric FPR evaluation approach that analyzes predictions in regions where synthetic negatives are inserted. This evaluation provides an indirect measure of the model's ability to consistently identify non-traversable regions without additional manual labeling. Extensive experiments on both public and self-collected datasets demonstrate that our approach significantly enhances robustness and generalization across diverse environments. The source code and demonstration videos will be publicly available.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01