アーカイブ / Computer Vision / Generative AI
画像の指定部分を4段階で補うTurboFill：画質と背景の保持を検証
TurboFill
TurboFillの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : We propose TurboFill , a fast image inpainting method that leverages a 3-step adversarial training scheme. With only four diffusion steps, TurboFill outperforms the multi-step BrushNet* [ 12 ] , delivering realistic details and textures with remarkable efficiency.
概要
- TurboFillは、DMD2に画像修復用アダプターを学習させ、指定部分を4段階で補う。
- DilationBenchのマスク内Q-Alignは、TurboFillの4段階で4.5703、同じ学習データを使うBrushNet*の50段階で4.4688だった。
- 商品写真への適用には、写真、マスク、範囲内の説明文を用意し、画質と背景の保持を対象写真で検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TurboFillの仕組み
- 01元画像・マスク・文章
- 02修復条件を取り込む
- 03DMD2で4段階生成
- 04補完画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TurboFillは、画像の指定部分を文章に沿って描き直す「インペインティング」の手法である。物体の除去や追加では、描き直した部分の細部だけでなく、残した背景とのつながりも重要になる。
拡散モデルは、ノイズを段階的に取り除いて画像を作る。従来の修復手法には、この処理を何度も繰り返すため時間がかかるものがある。著者らは生成回数を減らしつつ、修復部分の画質を保つ課題に取り組んだ。
手法
利用者は元画像、描き直す範囲を示すマスク、その範囲に描きたい内容の文章を入力する。アダプターは、マスクと周囲の画像情報を生成モデルへ伝える追加部品である。TurboFillはこれをDMD2に接続し、4段階の生成処理で画像を補う。DMD2は少ない処理回数で画像を作るよう学習されたモデルである。
学習では、通常の拡散モデルとDMD2に同じ重みのアダプターを組み合わせる。まず通常のモデルでノイズ除去を学び、次にDMD2の生成結果を使って背景の保持と見た目を改善する。最後に、実画像と生成画像を見分ける識別器を更新する。識別器側にもノイズ除去の学習を加え、この3段階を交互に繰り返す。
新規性
TurboFillは、少ない生成回数で動くDMD2に修復用アダプターを直接学習させる。多段階の修復モデルを先に作り、それを高速化する別工程を省く構成が特徴である。
学習では、通常の拡散モデル側でアダプターを更新し、次にDMD2側で生成画像と背景の保持を評価して更新し、最後に識別器を更新する。この3段階を交互に繰り返す。
従来手法との違い
比較対象のBrushNet*は、TurboFillと同じLocalCaptionDataで学習したBrushNetである。著者らによると、そのアダプターをDMD2へ直接移すと、生成回数は減るが、色の過飽和や細部の欠落が生じる。TurboFillは少ない生成回数を前提にアダプターを学習する。
両ベンチマークでは、4段階のTurboFillが50段階のBrushNet*を一部の画質指標で上回った。一方、50段階のPowerPaint V2がTurboFillを上回る指標も複数ある。結果は各指標と生成回数に沿って読む必要がある。
実験結果
著者らは、元の領域マスクをさまざまな幅に広げた300組のDilationBenchと、マスクと指示文を人手で作った150組のHumanBenchで評価した。画質はQ-Align、CLIPIQA+、TOPIQ、文章とマスク内の内容の一致はCLIP Simで測る。画質はマスク内と画像全体を分けて報告している。
マスク内Q-AlignはDilationBenchでTurboFillの4段階が4.5703、BrushNet*の50段階が4.4688、PowerPaint V2の50段階が4.7773だった。HumanBenchでは順に4.4727、4.2578、4.5586である。著者らの表はTurboFillの一部指標での優位を示すが、全指標で最良とは示していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品写真から撮影時の小物を消し、背後の面を補う作業に試す。入力は既存の写真、消したい範囲を示すマスク、補う背景を記した短い文章とする。出力画像は担当者が元画像と並べ、商品の輪郭や色を確認して採否を決める。
業務写真に適応させる場合は、対象に近い写真と、修復範囲のマスク、範囲内の説明文を対応付けた学習データが必要になる。既存写真を使う想定で追加センサーは置かない。商品固有の質感に合うかは、この用途で検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の商品写真を集め、消去範囲のマスクと、補完したい背景の短い説明文を人手で付ける。評価用の写真は適応用と分ける。適応が必要なら、別の写真にも同形式のマスクと文章を付けて学習データとする。既存写真を使い、追加センサーは想定しない。
同じ評価用写真、マスク、文章をTurboFillと、同じ学習データを使うBrushNet*に入力する。マスク内のQ-AlignとCLIP Simに加え、担当者が境界、残す領域、指示との一致を確認する。処理時間と再作業件数も記録し、この写真群で採用できるか判断する。
限界と課題
著者らは、BrushNetのアダプターをDMD2へ直接移すと色のずれや細部の欠落が起きると報告する。また、既存の数値指標では背景との自然なつながりを十分に捉えられないとしている。いずれもTurboFill自体の失敗率を示すものではない。
編集上の検証事項は、業務写真での修復境界、残す領域の変化、指示と異なる内容の生成、処理時間のばらつきである。確認できた本文の範囲では、利用者調査の条件と結果は確認できないため、実務担当者が受け入れる品質かは判断できない。
出典
元のタイトル・要旨を確認する（英語）
TurboFill: Adapting Few-step Text-to-image Model for Fast Image Inpainting
This paper introduces TurboFill, a fast image inpainting model that enhances a few-step text-to-image diffusion model with an inpainting adapter for high-quality and efficient inpainting. While standard diffusion models generate high-quality results, they incur high computational costs. We overcome this by training an inpainting adapter on a few-step distilled text-to-image model, DMD2, using a novel 3-step adversarial training scheme to ensure realistic, structurally consistent, and visually harmonious inpainted regions. To evaluate TurboFill, we propose two benchmarks: DilationBench, which tests performance across mask sizes, and HumanBench, based on human feedback for complex prompts. Experiments show that TurboFill outperforms both multi-step BrushNet and few-step inpainting methods, setting a new benchmark for high-performance inpainting tasks. Our project page: https://liangbinxie.github.io/projects/TurboFill/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01