アーカイブ / Generative AI / Computer Vision / Robotics
一枚の画像や文章から、開閉する部品と隠れた内部を持つ3D物体を作る
UnfoldArt
UnfoldArtの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Method overview. Given an unposed image or a text prompt as input, we generate a TRELLIS Xiang et al. (2025a) mesh and a Flux Labs et al. (2025) ; Labs (2024) render that provide a spatial and photorealistic visually-grounded representation for our agentic reasoning. A hierarchy of three agents divides labor between global and local reasoning: a Decomposer reasons globally over parts and motion, a Grounder chooses a segmentation strategy and orchestrates the per-part articulation order, and an Articulator predicts the joint type, axis, and initial pivot. A two-round global-local debate then refines the prediction: the first round exploits whole-object–part disagreement, and the second grounds it in a freely generated video of the proposed motion, revising the pivot from initial ( red ) to final ( green ). Conditioned on the articulation agreed upon in the debate, a guided video pass then drives each part through its motion, anchored to an end-frame mask representing the most articulated state. This also reveals any part interior, which drives per-part reconstruction into an interactable URDF with high-fidelity interior geometry.
概要
- 一枚の画像または文章から、部品の形、関節の設定、開くと見える内部を持つ3D物体を生成する。
- 全体像と部品の拡大像を担当する複数の処理が動きを再検討し、生成動画を動きと形状補完の手掛かりに使う。
- ３つの評価集合で関節や形状を比較したが、生成された隠れた内部が実物と一致するかは別途確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、UnfoldArtの仕組み
- 01画像または文章
- 02初期3D形状を生成
- 03部品と動きを協議
- 04動画で内部を露出
- 05可動3D物体を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
UnfoldArtは、文章か一枚の画像から、扉や引き出しのように動く部品を持つ3D物体を作る。閉じた状態の画像には、回転軸の位置や内部の空間が写っていないことが多い。それでも仮想空間やロボットの練習環境で操作するには、外形に加えて、部品の分かれ方と動き方が必要になる。
論文の「関節」は、部品が回転するか直線に移動するか、その軸や支点を表す設定である。著者らは、見えない部分を補いながらこの設定を推定する。
手法
入力から初期の3D形状を作り、物体全体を見る担当が可動部と動きの候補を挙げる。別の担当は画像上で部品の範囲を定め、拡大した部品と3D形状から回転軸や支点などを推定する。全体像と局所像の判断が食い違えば再検討し、提案した動きを生成動画でも確かめる。例えば扉なら、取っ手と蝶番の位置が開く向きに合うかを見る。
動きが決まると、その設定で部品を動かす動画を生成し、開いた時に現れる内部を3D形状の補完に使う。「潜在空間での補完」とは、モデル内部の圧縮表現上で不明な領域を埋める処理である。最終出力は部品形状、関節設定、部品のつながりを持つURDF形式で、操作可能な3D物体として扱う。
新規性
著者らが主張する前進は、単一の画像または文章から、部品の形、動く軸、閉じた状態では見えない内部を一緒に推定する点にある。物体全体を見た判断と部品の拡大像からの判断が食い違う箇所を再検討し、生成動画の動きも手掛かりにする。合意した動きで別の動画を作り、露出した内部を3Dの補完へ利用する。
関節付き物体の専用データで動画モデルを追加学習させず、既存の生成モデルを組み合わせる設計も特徴である。
従来手法との違い
比較対象には、関節付き物体の教師データで学習するSINGAPOとPhysX-Anything、追加の観測や既存の3D部品を利用するFreeArt3DとArticulate-Anythingがある。UnfoldArtは一つの入力から動きと内部形状を求める。FreeArt3Dとの評価では、同方式が必要とする別状態の画像を著者らの動画生成段階から与えている。
数値は評価集合によって変わる。PartNet-Mobilityでは関節種類の正解率が高い一方、軸の誤差が全手法中で最小というわけではないため、全指標で優位とは言えない。
実験結果
著者らはPartNet-Mobilityの77物体、家庭用品の53物体、既存の関節付きデータから離れた40物体の３集合で比較した。関節種類の正解率、軸と支点の誤差、静止・可動状態での形状差などを測っている。家庭用品集合では軸の誤差が17.3度で、比較した各方式より小さかった。
関節種類の正解率は、離れた種類の40物体で64.2％、PartNet-Mobilityで77.5％と報告する。ただし家庭用品集合では57.5％でArticulate-Anythingと同値だった。これらは論文の評価集合に対する結果であり、任意の製品写真で同じ精度になることを示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：開閉する収納家具の画像から、仮想空間で操作できる試作物体を作る。入力は閉じた状態の家具画像一枚、出力は扉や引き出しの部品形状、回転・移動の設定、開いた時に見える内部を含む3Dモデルである。生成した物体を操作画面へ置き、扉の開く向きと内部の見え方を確認する。
担当者は元画像と生成結果を並べ、取っ手と軸の位置、部品同士の接触、見えなかった内部の妥当性を修正する。生成された内部は実物の計測結果ではないため、設計図の代用にはしない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：扉や引き出しを持つ物体を少数選び、閉じた画像と、開いた状態を含む確認用の記録をそろえる。基準は、初期の静的3D形状を部品の操作設定なしで使う場合とする。同じ入力からUnfoldArtの出力を作り、担当者が部品の切り分け、関節種類、軸と支点を確認する。
開閉させた時の形状の破綻、部品の干渉、内部の形の違いを記録する。元画像に写らない内部は、見た目の自然さと実物との一致を分けて採点する。
限界と課題
著者らは、単一の静止画像では隠れた形状を直接観測できず、生成動画も常に使えるわけではないとしている。そのため動画の最終フレームで部品が崩れたり位置がずれたりした場合は、再生成してから3D再構成へ進む。評価対象の関節は回転と直線移動であり、あらゆる機構の再現を示したものではない。
導入側では、見えない内部が実物に合うか、可動部が周辺と干渉しないかを別に確認したい。見た目の一致、動きの一致、実際の寸法や物理的な使用可能性は、異なる検証項目である。
出典
元のタイトル・要旨を確認する（英語）
UnfoldArt: Zero-Shot Recovery of Full Articulated 3D Objects from Text or Image
Articulated 3D objects are essential for interactive environments in embodied AI, robotics, and virtual reality, but reconstructing their structure and motion from sparse observations remains challenging. Existing approaches remain largely constrained by lack of supervised data or lack the priors needed to reliably recover articulation, hidden geometry, and internal object structure. We present the first debate-driven agentic approach to articulated 3D object reconstruction from text or image inputs that both grounds articulation reasoning in concrete motion and exposes the occluded geometry revealed under articulation. High-level agents reason about object semantics and motion using knowledge from vision-language and video models, while low-level agents estimate articulation parameters and interaction points; together, they engage in a two-round structured debate that first exploits global--local disagreement and then grounds the agents in freely generated video. The same video prior, conditioned on the agreed articulation, then drives each part through its motion to expose occluded interiors and geometry that cannot be inferred from a single static view. By combining agentic reasoning with a video generative prior, our approach jointly infers articulation and reconstructs complete 3D articulated objects, producing high-fidelity geometry, internal structure, and motion-consistent states beyond directly observed surfaces.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29