アーカイブ / Computer Vision
複数の写真からカメラ位置と3次元形状をまとめて推定するVGGT
VGGT
複数の画像をTransformerに入力し、カメラ・深度・点群・追跡を推定するVGGTの構成図
出典：VGGT 公式プロジェクト ↗概要
- 1枚から多数の画像を受け、カメラ、深度、3次元点、点追跡用特徴を共通モデルで推定する。
- 10枚の画像によるカメラ姿勢評価で、追加調整なしのAUC@30はRealEstate10Kで85.3、CO3Dv2で88.2と著者らは報告した。
- 3次元点は専用出力より深度とカメラの推定値から構成した方が、ETH3Dでの誤差が小さかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VGGTの仕組み
- 011枚〜複数の画像
- 02画像間の特徴を統合
- 03カメラ姿勢・深度を推定
- 043D点群・追跡情報
たとえば異なる角度の写真から、撮影位置と物体の奥行きをまとめて推定する。
カメラ姿勢や奥行きなどを段階的な処理で求める。
複数の3D属性をニューラルネットワークで直接推定する。
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
複数の写真から現場や物体を3次元化するには、各写真を撮ったカメラの位置と向き、画素ごとの奥行き、写真間で同じ場所に当たる点を求める必要がある。従来はこれらを別々の工程で扱い、結果を繰り返し調整するため、処理手順と計算量が増えやすい。
撮影後すぐに形状を見たい業務では、速度だけでなく、追加調整なしの結果がどこまで使えるかが重要になる。VGGTは、この複数の推定を共通のモデルで行う研究である。
手法
入力は同じシーンを写した1枚から多数のカラー画像。まず画像を小領域に分けて特徴を作り、Transformerという、離れた領域同士の関係を計算するモデルに渡す。モデルは各画像内を見る処理と、画像をまたいで見る処理を交互に行い、視点間の情報を合わせる。
出力は各画像のカメラの向き・位置と画角、画素ごとの深度マップ、共通座標で表した点マップ、点追跡用の特徴である。例えば机を周囲から撮った写真なら、机の角が各写真のどこに写るかを追いながら3次元点を推定する。点追跡は別の処理部が特徴と指定点を受け取り、各画像で対応する位置を返す。
新規性
著者らが示す前進は、カメラ位置、奥行き、各画素の3次元座標、点の対応関係を、共通のモデルからまとめて推定できる点にある。1枚から多数の画像まで扱い、推定結果をそのまま利用する場合でも、反復的な幾何最適化を使う比較手法に対して高い精度を報告した。
さらに、深度とカメラの推定値から3次元点を組み立てると、専用の点マップ出力を直接使うより精度が高いという、実装上の選択に関わる結果も示している。
従来手法との違い
従来の3次元復元では、画像間の対応付け、三角測量、バンドル調整を段階的に行う。バンドル調整は、複数の画像に写る点のずれを減らすようカメラと3次元点を繰り返し修正する処理だ。DUSt3RやMASt3Rも、複数画像を統合する際に追加処理を使う。
VGGTは画像群を一度に処理し、追加の最適化を行わずに推定値を出す。必要なら後からバンドル調整を加えられ、論文ではその場合の精度向上も報告する。速さと精度の比較は、入力枚数や計測環境をそろえて読む必要がある。
実験結果
著者らはカメラ姿勢推定をRealEstate10KとCO3Dv2で評価し、各シーンからランダムに10枚を選んだ。回転と移動方向の誤差をしきい値ごとに集約するAUC@30は、VGGTの追加調整なしで85.3と88.2、比較対象のVGGSfM v2は78.9と83.4だった。実行時間はH100 GPU 1基で約0.2秒、VGGTにバンドル調整を加えると約1.8秒と報告する。
ETH3Dの点マップ推定では、誤差指標Overallが深度とカメラからの構成で0.677、専用の点マップ出力で0.709だった。数値は論文内の対象データと測定条件に対応する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設現場の同じ区画を異なる位置から撮った写真を入力し、カメラ位置と点群を推定して、撮影範囲を確認するための3次元プレビューを作る。点群とは、空間内の位置を持つ点の集まりである。
担当者は写真を取り込み、推定結果を既知の寸法や現場記録と照らして、欠けた視点や不自然な形状を確認する。出力を計測値として使う前に、現場で測った距離との一致を別途確かめる運用を想定する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ区画について、視点が重なる写真群と重なりが少ない写真群を用意する。VGGTでカメラ位置と点群を出し、既存の写真測量工程を比較基準として、同じ写真から得た形状を並べて確認する。
測定済みの数点間距離を尺度合わせに使い、別の測定点で距離誤差を記録する。あわせて形状の欠落、写真間での点のずれ、1案件あたりの処理時間を測る。反射面や動く物がある写真は分けて集計し、利用できる撮影条件を定める。
限界と課題
著者らの方法では、最初の画像のカメラを座標の基準とし、画像の中心をカメラの主点と仮定する。また、学習時にはシーンの大きさを正規化している。したがって、推定した座標をそのまま現実の長さとして扱うことはできず、用途に応じた尺度合わせが必要になる。
編集上の確認点は、撮影範囲の重なりが少ない場合、反射物や動く対象を含む場合の誤差、画像枚数を増やした際の処理時間とメモリである。論文の表にある約0.2秒は特定の評価条件での値であり、現場の処理時間を保証しない。
出典
元のタイトル・要旨を確認する（英語）
VGGT: Visual Geometry Grounded Transformer
We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29