アーカイブ / Generative AI / Computer Vision
服の位置合わせと柄の復元を二段階に分ける仮想試着
DS-VTON
DS-VTONの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison between existing methods ( Kim et al., 2024 ; Xu et al., 2025 ; Choi et al., 2024 ; Zhou et al., 2025 ) and our proposed DS-VTON. (a) Existing approaches typically adopt a single-scale pipeline with masked inputs, limiting their ability to capture full-body semantics and garment structure. (b) In contrast, DS-VTON employs a fully mask-free, dual-scale framework: the low-resolution stage focuses on garment-body alignment, while the high-resolution stage refines texture details via residual-guided denoising.
概要
- 人物画像と服の画像を使い、低解像度で位置を合わせ、高解像度で細部を整える二段階の仮想試着手法。
- 部位を塗り分けたマスクを入力に使わない一方、著者らは学習用に追加の合成画像を使用した。
- 著者らの別の服への着せ替え評価では、VITON-HDでFID 8.24、KID 0.31、DressCodeでFID 4.21、KID 0.34だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DS-VTONの仕組み
- 01人物・衣服画像
- 02低解像度の試着生成
- 03雑音と結果を混合
- 04高解像度の試着画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DS-VTONは、人物写真と衣服画像から、その人物が指定の服を着たように見える画像を作る仮想試着手法である。商品を画面上で確かめるには、服を身体に自然に合わせることと、柄や布地の細部を残すことの両方が重要になる。
著者らは、この二つを一度の生成過程で扱うと、身体との位置関係と細部の再現を両立しにくいと指摘する。服の形が合っても柄が崩れたり、柄が残っても着用部分がずれたりすれば、商品の見え方を判断しにくい。
手法
人物と衣服の画像を縮小し、最初の段階で大まかな試着画像を作る。細部を抑えた画像を使い、身体の形、服の種類、柄のおおよその配置を合わせる。その結果を元の大きさに拡大し、元の人物・衣服画像とともに次の段階へ渡す。人物の部位を塗り分けたマスクは両段階で入力しない。
次の段階は、雑音を少しずつ取り除いて画像を作る拡散モデルを使う。雑音と前段の結果を混ぜた状態から始め、低解像度の結果を構造の手掛かりとして、高解像度との差分を補う。例えば縞柄の服なら、先に胴体との位置関係と縞の大まかな配置を決め、後から細部を整える構成である。両段階で、衣服の特徴を読むネットワークと画像を生成するネットワークを用いる。
新規性
提案の中心は、低解像度で服と身体の対応を決め、その結果を手掛かりに高解像度で細部を補う二段階の生成にある。後段では雑音と前段の結果を混ぜ、解像度間の差分に焦点を当てる。
両段階とも、人物の部位を塗り分けるマスクを学習時・生成時の入力に使わない。著者らは、事前学習した拡散モデルが持つ身体や衣服の知識を利用し、マスクの誤りによる影響を避ける設計だと説明している。
従来手法との違い
比較対象はCatVTON、IDM-VTON、Leffa、OOTDiffusion、FitDiTである。著者らによると、近年の拡散型手法には、服の領域をマスクで示し、一つの生成過程で位置合わせと細部の再現を扱うものが多い。DS-VTONはマスクを使わず、低解像度の結果を次の生成段階へ渡す。
比較時の学習条件には違いがある。FitDiTの重みはVITON-HD、DressCode、CVDDで共同学習され、DS-VTONを含むほかの手法は評価データセットごとに学習されている。この条件を踏まえて数値を読む必要がある。
実験結果
著者らは、上半身の衣服を含むVITON-HDと、上半身・下半身・ワンピースを含むDressCodeで、別の服に着せ替える設定を評価した。生成画像の分布を比べるFIDとKIDは低いほどよい。768×1024での表の値は、VITON-HDでDS-VTONがFID 8.24、KID 0.31、OOTDiffusionが9.02、0.63だった。
DressCodeではDS-VTONがFID 4.21、KID 0.34、FitDiTが4.47、0.41だった。著者らは画像を選ぶ利用者調査も報告するが、これらの指標だけで個々の商品の柄が正確かは分からない。FitDiTは複数データセットで共同学習した重みを使うため、同じ学習条件での比較ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：衣料品の商品画像と購入者の人物写真を入力し、着用イメージを生成して商品確認画面に示す。出力は試着画像とし、担当者が服の輪郭、柄、肌や手の見え方を確認してから提示する運用を想定する。
適応を試す場合の学習元には、人物写真と対応する衣服画像の組に加え、論文で用いた追加の合成画像を検討する。組の対応付けは必要だが、部位を塗り分けたラベルや追加センサーは手法の入力要件ではない。自社の撮影条件や商品に合わせた再学習の要否は検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の商品について、人物写真、対応する衣服画像、実際の着用写真を組にして確認用データを作る。学習を試すなら、人物と衣服の対応組に加え、論文で使われた追加の合成画像をどう用意するかを調べる。部位を塗り分けたラベルや追加センサーは入力要件に含めない。
まず既存の一段階生成手法を基準に、同じ人物と服の組み合わせで出力を比べる。自社画像に合わせた再学習の要否を確かめ、服の輪郭、柄、肌や手の保持を項目別に記録する。集計指標に加え、商品画像と生成画像を人が照合し、誤った見え方の件数を測る。
限界と課題
著者らは、高解像度段階で低解像度の結果の影響を強めすぎると細部の復元が弱まり、雑音の影響を強めすぎると構造の一貫性が崩れ得ると述べる。また、マスクなしの学習には元の人物・衣服の対応画像だけでは足りず、追加の合成データを使っている。
編集上の検証事項は、実際の商品写真で文字や細かな柄、手や肌、服の境界を保てるかである。確認できた本文の範囲では、追加の合成画像の作成手順は付録参照となっており、運用時の費用も判断できない。導入前に自社画像での再現試験が要る。
出典
元のタイトル・要旨を確認する（英語）
DS-VTON: An Enhanced Dual-Scale Coarse-to-Fine Framework for Virtual Try-On
Despite recent progress, most existing virtual try-on methods still struggle to simultaneously address two core challenges: accurately aligning the garment image with the target human body, and preserving fine-grained garment textures and patterns. These two requirements map directly onto a coarse-to-fine generation paradigm, where the coarse stage handles structural alignment and the fine stage recovers rich garment details. Motivated by this observation, we propose DS-VTON, an enhanced dual-scale coarse-to-fine framework that tackles the try-on problem more effectively. DS-VTON consists of two stages: the first stage generates a low-resolution try-on result to capture the semantic correspondence between garment and body, where reduced detail facilitates robust structural alignment. In the second stage, a blend-refine diffusion process reconstructs high-resolution outputs by refining the residual between scales through noise-image blending, emphasizing texture fidelity and effectively correcting fine-detail errors from the low-resolution stage. In addition, our method adopts a fully mask-free generation strategy, eliminating reliance on human parsing maps or segmentation masks. Extensive experiments show that DS-VTON not only achieves state-of-the-art performance but consistently and significantly surpasses prior methods in both structural alignment and texture fidelity across multiple standard virtual try-on benchmarks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01