表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

単眼映像から深度を推定するCCDepth:モデル規模と精度をKITTIで検証

CCDepth

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

CCDepthの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1: The overall architecture of CCDepth.

出典:CCDepth / arXiv ↗

概要

  • CCDepthは、高解像度側のCNNで細部を、低解像度側のCRATEで広い範囲の特徴を捉える単眼深度推定モデル。
  • 著者らのKITTI評価では、Abs Relが0.115、RMSEが4.737、パラメータ数が1260万だった。
  • 導入判断には、対象カメラの連続映像での適応と、距離の正解値を使った精度・処理時間の再測定が必要。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、CCDepthの仕組み

左から右へ読む
  1. 01単眼RGB画像
  2. 02CNNで細部抽出
  3. 03CRATEで広域抽出
  4. 04拡大して深度出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

CCDepthは、1台のカメラで撮った画像から各画素の奥行きを表す深度マップを推定する。道路上の物体や路面の位置関係を画像から把握するための手掛かりになる。

車両上で使うには推定精度だけでなく、モデルの大きさと処理時間も重要になる。著者らは既存モデルのパラメータ数が多いことに加え、内部で何を捉えたか分析しにくいことを課題として挙げた。

手法

CCDepthは、画像を段階的に縮小して特徴を取り出し、再び拡大して深度マップを作る。CNNは畳み込みニューラルネットワークの略で、近くの画素にある模様などを捉える。CRATEは画像の小領域を数値の列に変え、領域間の関係を処理する層で、縮小後の特徴に適用される。例えば走行中の前方画像を入力すると、推論時にはその1枚から画素ごとの深度を出す。

学習時には単眼カメラの連続フレームを使う。深度推定ネットワークが奥行きを、別の姿勢推定ネットワークが隣接フレーム間の動きを予測し、両者を使って画像を再構成する。実際の画像との差を学習の手掛かりにする自己教師あり学習なので、学習画像に画素ごとの深度ラベルを付ける必要はない。

新規性

CCDepthは、細部を捉えるCNNを高解像度側に、画像の広い範囲の関係を扱うCRATEを低解像度側に配置する。著者らは、この組み合わせでモデル規模を抑えつつ深度を推定する点を提案の中心に置く。

CRATEの処理は、特徴の圧縮と疎化を目的とする数式に対応づけられている。疎化とは、特徴を表す値の一部をゼロにすることを指す。著者らは内部特徴の分析も示しているが、個々の予測理由まで説明できるという主張ではない。

従来手法との違い

KITTIの比較表では、パラメータ数はCCDepthが1260万、Monodepth2が5940万、FSLNet-Lが1650万である。Abs Relは順に0.115、0.115、0.128で、CCDepthはMonodepth2と同値だった。

RMSEは順に4.737、4.863、4.905。一方、誤差が所定のしきい値内に収まる割合を示すδ<1.25は0.874、0.877、0.852で、Monodepth2の値が最も高い。比較は論文に示されたKITTIの条件に限られる。

実験結果

著者らはKITTIのEigen分割を使い、静止フレームを除いた3万9810枚で学習、4424枚で検証、697枚で評価した。入力解像度は640×192、学習は20エポック。比較表のCCDepthはAbs Relが0.115、RMSEが4.737、パラメータ数が1260万だった。

著者らは1枚の推論時間を指定の計算環境で15.71ミリ秒と報告する。予測尺度数の比較では4尺度、画像端の埋め方の比較では鏡映を採用した。内部特徴の非ゼロ値の割合と特徴マップも分析しているが、これらの結果から導入先での精度や速度までは判断できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:道路映像の点検担当者が、前方の物体や路面の奥行きの分布を確認する補助画面を試作する。対象車両の単眼RGBカメラ映像を入力し、各画素の推定深度を色で示す画像を元映像と並べて出力する。

適応用には同じカメラで撮った連続フレームを集める。学習用の画素別深度ラベルは不要だが、評価には別途、距離の正解値を持つ画像が要る。担当者の確認に役立つかどうかも現場で確かめる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象車両の単眼RGBカメラで連続フレームを集め、撮影条件を記録する。深度ラベルを付けずにCCDepthを対象映像へ適応させ、同じ学習用データと評価条件でMonodepth2を比較対象にする。

評価用には距離の正解値を持つ画像を別に用意する。同じ画像でAbs RelとRMSEを測り、パラメータ数と1枚当たりの推論時間も記録する。夜間や細い物体など導入先で重要な場面は分けて確認し、KITTIの報告値をそのまま現場の達成基準にはしない。

限界と課題

著者らは、CRATE層を含むため計算時間の面で負担が比較的大きいと結論で述べている。1枚当たり15.71ミリ秒という報告値が、導入先の計算環境でも得られるとは本文から判断できない。

編集上の検証事項は、カメラや道路環境が変わった場合の誤差、細い物体や空の領域での予測、処理時間のばらつきである。著者らはこれらの領域の定性的な比較を示すが、領域別の誤差値は確認できた本文の範囲では示されていない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

CCDepth: A Lightweight Self-supervised Depth Estimation Network with Enhanced Interpretability

Self-supervised depth estimation, which solely requires monocular image sequence as input, has become increasingly popular and promising in recent years. Current research primarily focuses on enhancing the prediction accuracy of the models. However, the excessive number of parameters impedes the universal deployment of the model on edge devices. Moreover, the emerging neural networks, being black-box models, are difficult to analyze, leading to challenges in understanding the rationales for performance improvements. To mitigate these issues, this study proposes a novel hybrid self-supervised depth estimation network, CCDepth, comprising convolutional neural networks (CNNs) and the white-box CRATE (Coding RAte reduction TransformEr) network. This novel network uses CNNs and the CRATE modules to extract local and global information in images, respectively, thereby boosting learning efficiency and reducing model size. Furthermore, incorporating the CRATE modules into the network enables a mathematically interpretable process in capturing global features. Extensive experiments on the KITTI dataset indicate that the proposed CCDepth network can achieve performance comparable with those state-of-the-art methods, while the model size has been significantly reduced. In addition, a series of quantitative and qualitative analyses on the inner features in the CCDepth network further confirm the effectiveness of the proposed method.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01