アーカイブ / Computer Vision / Generative AI
単眼画像の遮蔽を補い、物体の形と配置を別々に推定するSceneMaker
SceneMaker
SceneMakerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : The Framework of SceneMaker. Our framework consists of scene perception, 3D object generation under occlusion, and pose estimation. We decouple the de-occlusion model from 3D object generation. We construct a unified pose estimation model that incorporates both global and local attention mechanisms. GSA, LSA, GCA, LCA, and FFN denote global self-attention, local self-attention, global cross-attention, local cross-attention, and feed-forward network, respectively.
概要
- SceneMakerは単眼画像から遮蔽された物体像を補い、3D形状の生成と場面内での姿勢推定を別々に行う。
- 著者らは補完用に1万組の画像データ、姿勢推定用に20万件の合成場面を構築した。
- MIDIのテスト場面1,000件では、著者らの報告するCD-SがSceneMakerで0.051、MIDIで0.080だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SceneMakerの仕組み
- 01単眼の場面画像
- 02領域分割・奥行き推定
- 03遮蔽部分の補完
- 04物体の3D形状生成
- 05姿勢推定済み3D場面
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SceneMakerは、1枚の画像に写る複数の物体から3D場面を作る手法だ。物体が互いに隠れると、見えない形を補うことに加え、それぞれの位置、向き、大きさを決めることも難しくなる。
対象の種類を事前に限定しない「オープンセット」では、室内など限られた場面だけの学習例では多様な物体と遮蔽を扱いにくい。著者らは、形と配置の両方を求める場面生成に必要な学習例の不足を課題に挙げる。
手法
まず画像内の物体ごとに領域を分け、画素までの距離を表す奥行き画像を推定する。領域と奥行きから、物体表面を3Dの点の集まりで表す点群も作る。例えば手前の箱に隠れた道具なら、見えている道具の画像から隠れた部分の画像を補い、それを既存の生成器に渡して3D形状を得る。
次に場面画像、物体領域、切り出した画像、点群、生成した形状を姿勢推定器へ入力し、各物体の回転・位置・大きさを求めて配置する。姿勢推定には、雑音から予測値を段階的に整える拡散モデルを用いる。物体間の関係も参照し、回転には物体単位の情報、位置と大きさには場面全体の情報を使う。
新規性
遮蔽部分の画像補完、物体ごとの3D形状生成、場面内での姿勢推定を分け、画像・3D物体・場面の各データで学習する構成が提案の中心だ。補完器は画像編集モデルを基に、独自に作った1万組の補完用データで調整する。
姿勢推定では、物体内部と物体間の情報を扱う処理を併用する。回転は物体単位の画像と点群を、位置と大きさは場面全体の情報を参照させる設計も特徴だ。
従来手法との違い
MIDI3Dなどとの違いは、遮蔽された物体像を先に補い、その画像から既存の生成器で3D形状を作る点にある。著者らは、補完を物体生成から切り離し、画像データの多様な遮蔽例を学習に使う。
姿勢推定の比較対象であるCAST3Dについて、著者らは物体間の相互作用と、参照情報を姿勢の要素ごとに分ける仕組みが不足すると説明する。SceneMakerは両方を導入するが、性能差は評価したデータと指標ごとに読む必要がある。
実験結果
著者らは、500超のクラスを含む独自の検証画像1,000枚で遮蔽部分の補完を評価した。予測画像と正解画像の一致を測るPSNRはSceneMakerの補完器が15.03、初期モデルのFlux Kontextが13.91で、SSIMもそれぞれ0.7566、0.7309だった。
MIDIのテスト場面1,000件では、場面全体の形状間距離を測るCD-SがSceneMakerで0.051、MIDIで0.080と著者らは報告する。一方、別の3D-Front室内テストでは、公開集合データを追加した版が0.0470、追加前が0.0381だった。CD-Sは低いほど良く、追加による改善はこの指標では見られない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。作業台を単眼カメラで撮り、道具や容器の3D形状、位置、向き、大きさを推定して、ロボット用シミュレーション場面の下書きにする。担当者が隠れた部分の形と物体同士の配置を確認し、必要な箇所を直してから使う。
現場に合わせた調整には、対象物の画像と3D形状、遮蔽像と隠れた部分が分かる画像の組、物体領域・位置・向き・寸法の正解ラベルが必要になる。入力用の撮影センサーは単眼カメラとし、現場の遮蔽例で補完器と姿勢推定器を調整する想定だ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象を一つの作業台に絞り、単眼カメラ画像を収集する。調整用には対象物の3D形状、遮蔽像と補完先画像の組、画像ごとの物体領域・位置・向き・寸法の正解ラベルを用意し、現場の遮蔽例で補完器と姿勢推定器を調整する。
同じ画像で、補完を挟む構成と挟まない構成を比較する。調整に使わない現場画像を評価用に分け、生成形状と正解形状の距離、位置・回転・寸法の誤差、隠れた物体の失敗件数を測る。作業で許容できる誤差は評価前に決める。
限界と課題
確認できた本文の範囲では、著者らが適用上の限界を明示した記述はない。定量評価には合成場面が使われている。実写画像への言及はあるが、特定の作業現場で調整なしに使えると判断できる定量結果は、この範囲からは確認できない。
編集上の検証事項は、物体が大きく隠れたときの形の誤り、単眼画像から推定した奥行きのずれ、配置が作業に使える精度かどうかだ。姿勢推定の各機構を外す実験への言及はある一方、該当する数値表は確認できた本文の範囲に含まれない。
出典
元のタイトル・要旨を確認する（英語）
SceneMaker: Open-set 3D Scene Generation with Decoupled De-occlusion and Pose Estimation Model
We propose a decoupled 3D scene generation framework called SceneMaker in this work. Due to the lack of sufficient open-set de-occlusion and pose estimation priors, existing methods struggle to simultaneously produce high-quality geometry and accurate poses under severe occlusion and open-set settings. To address these issues, we first decouple the de-occlusion model from 3D object generation, and enhance it by leveraging image datasets and collected de-occlusion datasets for much more diverse open-set occlusion patterns. Then, we propose a unified pose estimation model that integrates global and local mechanisms for both self-attention and cross-attention to improve accuracy. Besides, we construct an open-set 3D scene dataset to further extend the generalization of the pose estimation model. Comprehensive experiments demonstrate the superiority of our decoupled framework on both indoor and open-set scenes. Our codes and datasets is released at https://idea-research.github.io/SceneMaker/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01