新着研究 / Generative AI / Computer Vision
点・囲み・マスクで同じ3D生成器を制御、FlexPartが部品ごとの形状を改善
FlexPart
FlexPartの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : (a) Our unified framework integrates variable-granularity geometric prompts from sparse points to dense masks into one model for flexible part control. (b) The proposed method produces high-fidelity, semantically coherent 3D parts across diverse object categories.
概要
- 点を基礎条件に、囲みやマスクを同じ生成器へ統合して部品別の形を作る。
- PartVerseXLのマスク条件でOmniPartよりPart CDを10.5%削減した。
- 部品評価は対応付いた対が対象で、欠落・余剰や実際の人の指定は別確認が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FlexPartの仕組み
- 01画像と部品ごとの指定
- 02条件表現を統合
- 03部品潜在表現を生成
- 04部品別3Dメッシュ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像から三次元形状を作れても、一枚のまとまった表面だけでは部品を動かす、外す、編集するといった作業に使いにくい。部品の分け方も用途によって異なり、簡単な点指定で済ませたい場合と、境界まで細かく指定したい場合がある。
既存の部品生成法は入力の細かさが固定されがちで、制御の容易さと正確さの切替が難しい。FlexPartは点、囲み、画素の領域指定を一つのモデルで扱い、必要な作業量に合わせて部品生成を制御する。
手法
点、囲み、マスクを別々に符号化し、固定長の部品条件へまとめる。マスクは部品に属する画素の指定で、囲みや点より豊かな境界情報を持つ。画像特徴は注意機構で渡し、部品条件は生成器内部の値の尺度や位置を調節する仕組みで注入する。
学習中は入力の一部を抜き、条件が足りない場合へ対応させる。さらに囲みやマスクの強い空間情報を教師として、点の曖昧な表現を対応付けて学ぶ。利用時は点が基礎の必須条件で、必要なら囲みやマスクも加える。例えば椅子の脚を点で指し、細かく分けたい座面に領域指定を加え、別々のメッシュとして出力する。
新規性
指定の粒度ごとにモデルを分けず、同じ生成器へ統合し、密な指定で学んだ境界情報を疎な点指定にも役立てる。追加の整合学習は、強い教師側の表現を固定して弱い点側を導く非対称な構成である。
画像全体の形を作ってから分割するのではなく、部品単位の形状を直接生成する。部品同士の関係と各部品内の形を扱い、組み立てた全体形状の品質も合わせて評価する。
従来手法との違い
全体を生成してからSAM3Dで部品へ分ける方法、部品数を指定するPartCrafter、明示的制御の少ないPartPacker、マスクを使うOmniPartなどを比べる。方式ごとに必要な入力が異なる点も区別している。
同じマスク条件ではOmniPartとの部品精度比較が可能だが、表全体を同一の入力負担の比較とはみなせない。全体形状だけを見ると特化した方式が優れる場合もあり、部品制御と全体品質の双方を見る研究となる。
実験結果
学習と分離したPartVerseXLおよびPartObjaverse-Tinyで評価する。著者らによると、PartVerseXLのマスク条件で形状間の距離Part CDは0.2938で、TripoSGとSAM3Dの組合せより16.6%、OmniPartより10.5%低かった。距離は小さいほどよい。
点条件のPart CDは0.3334で、点のみを学んだ版の0.3550から改善した。ただし部品評価は対応付いた部品対だけを使い、対応しなかった正解部品や生成部品へ追加の罰点を与えていない。欠落や余分な部品の評価は数値と分けて確認する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、製品説明映像に使う三次元アセットの下書きを作る流れが考えられる。製品画像で部品ごとに点を打ち、必要な箇所だけ囲みやマスクを追加し、分解表示用の形状候補を得る。
担当者は部品の境界と組付けを確認して修正する。これは映像制作の試作を助ける案であり、寸法公差や内部機構まで正しい製造用CADを画像一枚から復元できるという主張ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、部品の正解がある少数の対象で、点、点と囲み、点とマスクの条件をそろえて比較する。後から分割する基準も置き、形状距離と指定時間、編集に要する時間を測る。
対応付いた部品の精度に加え、欠けた部品数、余分な部品数、重なり、組み立てたときの隙間を別集計する。自動評価用の正解マスクから作る点と、人が実際に打つ曖昧な点でも差がないかを確かめる。
限界と課題
評価では入力画像から完全に隠れた正解部品を除き、ベンチマークの囲みや点も正解マスクから構成する。したがって、自由な利用者入力や見えない裏面を含む完全な部品復元で同じ結果になるとは限らない。
編集上は複雑な接続部、細い部品、指定が矛盾する場合、画像の撮影方向が悪い場合を調べたい。見た目が整った分解図と、物理的に組み立てられる部品形状も異なるため、後段の用途に応じた検査を追加する必要がある。
出典
元のタイトル・要旨を確認する（英語）
A Unified Framework for Image-to-3D Part Generation via Variable Granularity
Controllable 3D part generation is pivotal for digital asset creation, yet existing methods lack the flexibility to accommodate diverse user workflows requiring varying levels of control. In this paper, we introduce FlexPart, a unified image-to-3D part generation framework that supports variable-granularity geometric conditions within a single model. By seamlessly integrating heterogeneous inputs, ranging from sparse points to dense bounding boxes and masks, via gated adaptive modulation, FlexPart unlocks a powerful cross-modal synergy. We also propose an asymmetric geometric guidance mechanism that leverages strong spatial priors to align representations across granularities, improving geometric consistency and facilitating inter-task synergy. Under mask conditioning on PartVerseXL, FlexPart reduces Part CD by 16.6% relative to TripoSG + SAM3D and by 10.5% relative to OmniPart, while maintaining competitive whole-mesh quality. The code can be found at https://github.com/Gucci233/FlexPart
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-24