アーカイブ / Computer Vision
合成画像と実写の疑似ラベルで奥行きを学ぶDepth Anything V2
Depth Anything V2
細部や透明物体を含むシーンの深度推定例。
出典：Lihe Yang et al. / Depth Anything V2 ↗概要
- 精密な奥行き情報を持つ合成画像で教師を学習し、教師が実写へ付けた疑似ラベルで生徒を学習する。
- DA-2Kの前後関係判定で、小型版95.3％、大型版97.4％の正答率を著者らは報告した。
- 基本モデルが示すのは相対的な奥行きで、実距離を扱うモデルには追加学習が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Depth Anything V2の仕組み
- 01合成データで教師を学習
- 02実画像に疑似的な深度を付与
- 03生徒モデルを学習
- 041枚の画像から奥行き推定
たとえば教師が実画像へ付けた深度情報を利用し、生徒モデルへ知識を移す。
実世界の精密な深度ラベルを大量に集めることが難しい。
合成データと実画像を、教師と生徒による学習でつなぐ。
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
1枚の画像から画素ごとの奥行きを推定できれば、場面の前後関係を把握し、3次元処理の手掛かりにできる。ただし、実写画像に付いた奥行きの正解値には、透明物、反射面、細い構造で欠落や誤差が生じやすいと著者らは指摘する。
学習用の正解が粗いと、モデルの出力も境界でぼやけやすい。一方、合成画像だけでは実際の景色との違いが残る。Depth Anything V2は、この両方の問題を踏まえて学習手順を設計した。
手法
まず、描画時に奥行きが分かる合成画像で、大きな教師モデルを学習する。次に教師モデルを多数のラベルのない実写画像へ適用し、奥行きの推定値を「疑似ラベル」として付ける。最後に、実写画像と疑似ラベルを使って、規模の異なる生徒モデルを学習する。
例えば実写の室内写真に対し、教師が壁、椅子の脚、窓付近の奥行きを推定し、その結果を生徒の学習目標にする。基本モデルの出力は距離の絶対値ではなく、拡大やずらし方が変わっても前後関係を表せる相対深度である。実距離を出すモデルは、距離ラベルを用いた追加学習で得ている。
新規性
著者らが強調するのは、複雑な新構造より学習データの組み方による改善である。奥行きの正解を持つ実写画像を精密な合成画像に置き換えて大きな教師モデルを学習し、その教師が実写画像に付けた疑似ラベルで小さなモデルを学習する。
細い物体や反射面を含む画像での精細さを狙うとともに、近い・遠いの判断を測るDA-2Kを作った。軽量なモデルから大きなモデルまで、規模の異なる版を示している。
従来手法との違い
Depth Anything V1は大規模な実写データを使うが、著者らは実写の奥行きラベルに欠落や粗さがあると指摘する。拡散モデルを使うMarigoldは細部の表現が強い一方、著者らの比較ではV2の方が推論速度と奥行き精度で優位だった。
ただし既存の5つのゼロショット評価集合では、V2はV1とおおむね同程度で、一部の指標では下回る。論文は、透明物や細い構造の改善が既存指標に表れにくいことを、別の評価集合を作った理由としている。
実験結果
著者らは教師用に59.5万枚の合成画像、生徒用に6,200万枚の疑似ラベル付き実写画像を使った。独自のDA-2Kは1,000枚の画像から選んだ2,000組の画素の前後関係を評価する。正答率はV2の小型版95.3％、大型版97.4％、V1は88.5％、Marigoldは86.8％だった。
一方、KITTIやNYU-Dなど既存の5集合での相対深度指標はV1と同程度で、すべてが改善したわけではない。著者らは拡散モデル系の比較対象より10倍以上速いとも報告するが、速度は論文の比較条件で読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：倉庫内の単眼カメラ画像から奥行きマップを作り、棚や通路の見た目の前後関係を点検する。入力は静止画像、出力は各画素の相対的な奥行きを示す画像である。
担当者は、棚の縁や細い支柱が潰れていないか、鏡面や透明な仕切りで前後関係が逆転していないかを確認する。基本モデルの出力は実距離ではないため、距離の数値が必要な工程へ渡す前には別途測定や調整を行う。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：倉庫画像から、通常の棚、細い支柱、反射面、透明な仕切りを含む例を集める。現行の深度推定方法またはDepth Anything V1を比較基準にし、同じ画像へV2を適用する。
人が確認した点の組について前後関係の正答率を測り、境界の欠けや逆転を種類別に記録する。距離そのものが必要なら、実測距離との誤差を別に測る。画像1枚あたりの処理時間も確認し、必要な精度と速度を満たすモデル規模を選ぶ。
限界と課題
著者らは、合成画像だけで学習すると実写との見た目の差や場面の種類の不足が問題になり、空や人物で誤る例を示した。疑似ラベルで学習する方法はこの差を緩和するが、著者ら自身、DA-2Kの疎な点の前後判定は、復元に必要な画素全体の正確な奥行きを測るものではないと説明する。
編集上の確認点は、業務画像での細い構造、透明物、反射面の失敗率と、必要な処理時間である。実距離を必要とする用途では、相対深度モデルと距離ラベルで調整したモデルを区別して評価する。
出典
元のタイトル・要旨を確認する（英語）
Depth Anything V2
This work presents Depth Anything V2. Without pursuing fancy techniques, we aim to reveal crucial findings to pave the way towards building a powerful monocular depth estimation model. Notably, compared with V1, this version produces much finer and more robust depth predictions through three key practices: 1) replacing all labeled real images with synthetic images, 2) scaling up the capacity of our teacher model, and 3) teaching student models via the bridge of large-scale pseudo-labeled real images. Compared with the latest models built on Stable Diffusion, our models are significantly more efficient (more than 10x faster) and more accurate. We offer models of different scales (ranging from 25M to 1.3B params) to support extensive scenarios. Benefiting from their strong generalization capability, we fine-tune them with metric depth labels to obtain our metric depth models. In addition to our models, considering the limited diversity and frequent noise in current test sets, we construct a versatile evaluation benchmark with precise annotations and diverse scenes to facilitate future research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29