アーカイブ / Generative AI / Computer Vision
最初の１枚で服を替え、姿勢と背景を手がかりに試着動画を作るOIE
Once is Enough (OIE)
Once is Enough (OIE)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overall framework of OIE. OIE leverages a pre-trained image virtual try-on model to inject garment appearance, and further adapts the input configuration on a LoRA-finetuned model to achieve a low-parameter, structure-preserving video virtual try-on strategy.
概要
- FiTDiTで最初のフレームを着せ替え、姿勢、マスク、背景情報を使って試着動画を生成する。
- ViViDの報告値ではOIEのVFIDはMagicTryOnより低く、ペア条件のSSIMはMagicTryOnより低い。
- 実用時は最初の画像の品質に加え、動作中の服と背景の一貫性を対象素材で検証する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Once is Enough (OIE)の仕組み
- 01元動画・服の正面画像
- 02初フレームを着せ替え
- 03姿勢・背景で動画生成
- 04試着動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画のバーチャル試着は、人物の服を指定した服に替え、元の動きに沿う映像を作る。静止画と違い、体の向きが変わっても服の柄や形をフレーム間でそろえる必要がある。商品を見せる用途では、そのずれが見本の読み取りに影響する。
従来の二分岐方式は、服の特徴を読む経路と映像を作る経路を組み合わせる。著者らは、DiTというTransformer型の動画生成モデルにこの方式を適用すると、特徴を統合するためのモデル変更や学習対象が増える点を課題とした。
手法
OIEは元動画の最初のフレーム、服の高解像度な正面画像、着せ替えを指示する文を、画像用試着モデルFiTDiTに渡す。例えば、歩く人物の動画と別の上着の画像から、歩き始めの１枚をその上着に替える。編集した画像を符号化し、動画生成モデルWanに服の見た目を伝える最初の条件として使う。
続いて、姿勢動画から体の動きを読み取り、服の情報を除いた人物動画を背景用エンコーダーに通して、失われやすい背景の配置を補う。マスクも生成の手がかりに使う。動画モデルの調整にはLoRAを適用する。LoRAは元の重み全体ではなく、少数の追加行列を学習する方法で、本文では注意機構と前向き計算部分への適用が示されている。
新規性
OIEの提案は、服の見た目を画像編集で最初のフレームに一度だけ入れ、その結果を動画生成の条件にする単一分岐の構成にある。著者らは、服の特徴を動画モデルへ繰り返し注入する構成との違いを示す。
動画生成モデルの骨格は変更せず、背景を補うエンコーダーを加え、LoRAでモデルを調整する。服の細部を作る画像編集と、動きに沿って動画を作る処理を分けている。
従来手法との違い
比較対象のMagicTryOnなどは、服画像を読み取る参照用分岐の特徴を生成側へ統合する。OIEはFiTDiTで編集した最初のフレームを使い、動画モデルの骨格を変更せずに生成する。
表では同じWan2.1系の基盤モデルを使うMagicTryOnの推論時パラメータ数が16.44604B、OIEが14.36269Bだった。ViViDとCatV2TONは基盤モデルが異なるため、この数値を同条件の比較として扱えない。画質指標でも項目ごとに結果が違う。
実験結果
著者らはVVTとViViDを選び、ViViDでは参照服と着用服が一致するペア条件と、一致しない非ペア条件で評価した。ViViDのOIEは、動画品質の指標VFIDがペア条件で9.3983、非ペア条件で17.0831だった。同表のMagicTryOnは順に12.1988、17.5710で、低い値が良い。
ペア条件の構造類似度SSIMはOIEが0.8466、MagicTryOnが0.8841で、OIEが下回る。知覚的な画像差LPIPSは順に0.0774、0.0815で、低い値が良い。効率表ではWan2.1とOIEの計算量はともに193899.00 GFLOPs、処理時間は12.38秒／反復と12.41秒／反復。学習条件は81フレーム、バッチサイズ１、３万反復である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：衣料品の商品ページ向けに、人物の動きを保ちながら服を替えた短い見本動画を作る。入力は元の人物動画、服の高解像度な正面画像、着せ替えを指示する文とする。出力は対象の服を着た人物の動画で、公開前に担当者が各場面を確認する。
適用には、元動画から作る姿勢動画、服の領域を示すマスク、服の情報を除いた人物動画が必要になる。調整や評価には対応する動画と領域ラベルをそろえ、使う服や撮影条件に合わせて入力の作り方を確認する。追加センサーは本文で指定されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の服について、正面画像、元の人物動画、対応する着用動画をそろえる。元動画から姿勢動画、服の領域マスク、服の情報を除いた動画を作り、領域ラベルを点検する。追加センサーは本文に指定がない。学習用データの作成手順は確認できた本文の範囲では明らかでなく、再現前に確認が要る。
同じ服と動画を使い、表にあるMagicTryOnを比較の基準に置く。柄の保持、動作中の服のずれ、背景の変化を場面ごとに記録し、対応する着用動画があるペア条件ではVFID、SSIM、LPIPSを測る。対象素材に合わせて入力とモデルの調整を行い、処理時間とパラメータ数も記録する。
限界と課題
著者らは、姿勢動画だけでは背景の配置情報が失われるため、背景を補うエンコーダーを設けたと説明する。また、最初のフレームの編集結果と最終出力の品質には強い関係があると述べる。
編集上の検証事項は、遮蔽や急な動き、服の背面が見える場面での品質である。効率の記述にも不一致がある。表の推論時パラメータ数から計算するとWan2.1比で約0.54％増だが、本文には0.50％増と「0.1％未満」の記述がある。
出典
元のタイトル・要旨を確認する（英語）
Once Is Enough: Lightweight DiT-Based Video Virtual Try-On via One-Time Garment Appearance Injection
Video virtual try-on aims to replace the clothing of a person in a video with a target garment. Current dual-branch architectures have achieved significant success in diffusion models based on the U-Net; however, adapting them to diffusion models built upon the Diffusion Transformer remains challenging. Initially, introducing latent space features from the garment reference branch requires adding or modifying the backbone network, leading to a large number of trainable parameters. Subsequently, the latent space features of garments lack inherent temporal characteristics and thus require additional learning. To address these challenges, we propose a novel approach, OIE (Once is Enough), a virtual try-on strategy based on first-frame clothing replacement: specifically, we employ an image-based clothing transfer model to replace the clothing in the initial frame, and then, under the content control of the edited first frame, utilize pose and mask information to guide the temporal prior of the video generation model in synthesizing the remaining frames sequentially. Experiments show that our method achieves superior parameter efficiency and computational efficiency while still maintaining leading performance under these constraints.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01