アーカイブ / Computer Vision
大量のラベルなし画像を使い、1枚の写真から奥行きを推定するDepth Anything
Depth Anything
Depth Anythingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Our pipeline. Solid line: flow of labeled images, dotted line: unlabeled images. We especially highlight the value of large-scale unlabeled images. The S denotes adding strong perturbations (Section 3.2 ). To equip our depth estimation model with rich semantic priors, we enforce an auxiliary constraint between the online student model and a frozen encoder to preserve the semantic capability (Section 3.3 ).
概要
- 約150万枚のラベル付き画像と約6200万枚のラベルなし画像を組み合わせて学習する。
- 未知データDDADの相対深度評価で、著者らはMiDaS v3.1より低いAbsRelを報告した。
- 基礎モデルの奥行きは相対値であり、実距離の推定には距離情報による追加学習が必要となる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Depth Anythingの仕組み
- 01ラベル付き画像
- 02教師モデルを学習
- 03未ラベル画像に仮の深度
- 04生徒モデルを学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
単眼奥行き推定は、1枚の画像から各場所の手前・奥を推定する技術で、ロボットや運転支援などの視覚処理に関わる。多様な場面で使うには、多くの種類の画像を学習する必要がある。
ただし、画素ごとに正しい距離を付けた画像を大量に集めるのは難しい。Depth Anythingは、正解のない画像を大量に集め、既存モデルの予測を学習に使うことで、未知の場面への対応を広げようとした。
手法
まず、距離情報が付いた約150万枚の画像で教師モデルを学ぶ。教師は、正解のない約6200万枚の画像に「擬似ラベル」を付ける。これは人が測定した正解ではなく、教師モデルが推定した奥行き図である。次にラベル付き画像と擬似ラベル付き画像を合わせ、新たな生徒モデルを学習する。たとえば道路写真なら、教師が車や背景の奥行き図を作り、生徒がその推定を学ぶ。
生徒へ渡す画像には色の大きな変化やぼかし、別画像の領域を貼り合わせるCutMixを加える。一方、擬似ラベルは変形前の画像から作るため、生徒は見た目が変わっても奥行きの関係を保つよう学ぶ。さらにDINOv2という事前学習済み画像モデルの特徴に近づける補助学習を加える。通常の出力は相対的な奥行きで、実際の距離には距離ラベルでの追加学習が必要となる。
新規性
新しい専用部品を増やすより、約6200万枚のラベルなし画像を学習に生かす設計が中心である。教師モデルの予測をそのまま学ばせるだけでは改善しなかったため、画像を強く変形して学習課題を難しくした。
さらに、事前学習済み画像モデルDINOv2の特徴を補助信号として用い、奥行き推定と場面理解に役立つ表現を残す。著者らは、データの規模と学習方法を組み合わせた点を主要な貢献としている。
従来手法との違い
比較対象のMiDaS v3.1も、複数のデータセットから学習して未知の画像の相対的な奥行きを推定する。Depth Anythingは、ラベル付き画像に加えて大量のラベルなし画像を利用し、見た目を大きく変えた画像からも一貫した奥行きを学ぶ。
距離を実際の単位で出す用途では、別途、距離の正解を持つNYUv2やKITTIで追加学習する。したがって、基礎モデルが出す相対的な前後関係と、追加学習後の実距離推定は分けて比較する必要がある。
実験結果
著者らは、KITTI、NYUv2、Sintel、DDAD、ETH3D、DIODEの六つで、対象データを追加学習せず相対深度を評価した。指標のAbsRelは相対誤差で低いほどよく、δ1は一定範囲内に収まる予測の割合で高いほどよい。
DDADでは、同じViT-L規模のMiDaS v3.1に対し、AbsRelが0.251から0.230、δ1が0.766から0.789になったと報告する。MiDaSはKITTIとNYUv2の学習画像を使っており、その二つは厳密には同条件のゼロショット比較ではない。実距離用にNYUv2で追加学習した結果は、AbsRel 0.056、δ1 0.984だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備点検で撮影した単眼写真を、奥行きによる見落とし確認に使う。入力は設備室の写真1枚で、出力は画素ごとの相対的な奥行き図とする。
点検担当者が写真と奥行き図を並べ、手前の配管が奥の機器を隠している箇所を確認し、必要なら別角度の再撮影を指示する。相対的な奥行き図から配管までの距離を実寸で読まない運用にし、距離測定が必要な場合は別の基準データで確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：設備室で撮った写真を少数集め、奥行きが明らかな領域について担当者が前後関係を記録する。暗い場所、反射のある面、遮蔽のある構図を含める。
現行の目視確認を基準に、Depth Anythingの奥行き図を加えたとき再撮影が必要な箇所を見つけられる割合と、誤って判断した件数を測る。実距離を使う計画なら、距離の正解を別に用意し、相対深度の評価と分けて誤差を確認する。
限界と課題
著者らは、ラベル付き画像と擬似ラベル付き画像を単純に合わせた初期実験では改善しなかったと述べる。また、教師モデルが作る擬似ラベルには誤りがあり得るため、強い画像変形と意味特徴の補助学習を導入している。
編集上の確認課題は、点検対象に多い反射面、透明物、暗所で前後関係が保たれるか、撮影角度が変わっても判断が安定するかである。論文の相対深度の結果を、実寸距離の精度や点検業務の安全性へ読み替えることはできない。
出典
元のタイトル・要旨を確認する（英語）
Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data
This work presents Depth Anything, a highly practical solution for robust monocular depth estimation. Without pursuing novel technical modules, we aim to build a simple yet powerful foundation model dealing with any images under any circumstances. To this end, we scale up the dataset by designing a data engine to collect and automatically annotate large-scale unlabeled data (~62M), which significantly enlarges the data coverage and thus is able to reduce the generalization error. We investigate two simple yet effective strategies that make data scaling-up promising. First, a more challenging optimization target is created by leveraging data augmentation tools. It compels the model to actively seek extra visual knowledge and acquire robust representations. Second, an auxiliary supervision is developed to enforce the model to inherit rich semantic priors from pre-trained encoders. We evaluate its zero-shot capabilities extensively, including six public datasets and randomly captured photos. It demonstrates impressive generalization ability. Further, through fine-tuning it with metric depth information from NYUv2 and KITTI, new SOTAs are set. Our better depth model also results in a better depth-conditioned ControlNet. Our models are released at https://github.com/LiheYoung/Depth-Anything.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29