アーカイブ / Generative AI
画像生成の各段階で好みを判定するTailorPO：同じ途中画像から候補を比較
TailorPO
TailorPOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Framework overview of (a) previous method and (b) TailorPO. In the previous method, the preference order is determined based on final outputs and used to guide the optimization of intermediate noisy samples in different generation trajectories. In contrast, we generate noisy samples from the same input x t x_{t} and directly rank their preference order for optimization.
概要
- 同じ途中画像から二候補を作り、予測した完成画像の報酬でその段階の順位を決めて学習する。
- 著者らは、完成画像の順位を生成途中の全段階に適用する方法について、順位と学習方向の問題を分析した。
- Stable Diffusion v1.5で他手法より高い報酬得点を報告するが、確認できた本文には主要比較の数値詳細がない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TailorPOの仕組み
- 01文章と途中画像
- 02同じ入力から二候補
- 03予測画像で順位付け
- 04選好対でモデル更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TailorPOは、文章から画像を作る拡散モデルを、人の好みに合わせて調整する方法だ。拡散モデルはノイズを段階的に取り除くため、完成画像への評価を生成途中の判断にどう結び付けるかが問題になる。
直接選好最適化（DPO）は、好まれる候補とそうでない候補を比較して生成モデルを調整する方法である。著者らは、完成画像の順位が途中でも同じとは限らず、比較する候補の入力条件が違うと学習方向にも影響すると指摘した。
手法
TailorPOは、文章と生成途中のノイズ画像を入力し、同じ状態から次の段階の候補を二つ作る。各候補から完成画像を予測し、報酬モデルで点数を付けて順位を決める。報酬モデルとは、文章と画像に対して好ましさの点数を出す仕組みだ。例えば「赤い椅子」という文章なら、二候補それぞれの予測画像を採点する。
この順位を使い、好まれる候補の生成確率を高める方向へDPOでモデルを調整する。次の段階には選ばれた候補を渡す。途中候補の本来の評価は、そこから生じ得る完成画像の報酬の平均だが、全経路の計算は難しいため予測画像の点数で近似する。拡張版TailorPO-Gは、点数を上げる方向を示す「勾配」を使い、好まれる候補の報酬をさらに上げる。
新規性
TailorPOは、画像生成の途中で同じ入力から作った二候補を、その段階の報酬で順位付けする。二候補の生成確率を同じ条件で比較することで、好まれる候補へ学習を向ける設計だ。
途中のノイズ画像を採点する専用モデルは新たに学習せず、各候補から予測した完成画像を既存の報酬モデルで評価する。著者らは、この順位付けと学習方向の関係を理論的に分析している。
従来手法との違い
比較対象のD3POは、別々の生成過程で得た完成画像の順位を、各過程の途中の画像にも適用する。著者らは、途中では順位が逆転し得ることと、異なる入力条件を比べると学習方向が影響を受けることを示した。
TailorPOは各段階で同じ入力から二候補を作り、途中の候補ごとに順位を決める。近い先行研究SPOは途中の候補用の報酬モデルを学習するが、TailorPOは完成画像の予測と既存の報酬モデルを使う。
実験結果
著者らはStable Diffusion v1.5をTailorPOとTailorPO-Gで調整し、美観、人の好み、画像の圧縮しやすさを対象に評価した。他のRLHFおよびDPO系手法より高い報酬得点を得たと報告する。確認できた本文の範囲では、主要比較のデータセット名、試験数、得点表、差の大きさは特定できない。
掲載された勾配誘導の表では、誘導後に途中候補の報酬が上がった割合は、段階tが20、16、12、8、4の順に0.83、0.97、0.98、0.99、0.99だった。これは途中候補への誘導が点数を上げた割合であり、完成画像の品質改善率を示す数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品の紹介画像を作る工程で、制作依頼文に合う画像を担当者が選び、その判断に生成モデルを合わせる。入力は実際の制作依頼文、出力は依頼文に沿って生成した画像とする。
学習には制作依頼文と画像対の選好ラベル、または担当者の判断に合う報酬モデルが必要だ。扱う入力は文章と画像で、追加センサーは想定しない。まず担当者の順位と報酬モデルの順位を照合し、一致が不十分なら評価基準やモデルの調整を検討する。制作物の改善は検証課題である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の制作依頼文を集め、各依頼文に対する画像対に担当者の選好ラベルを付ける。文章とラベルを学習・検証用に分け、担当者の順位に合う報酬モデルを選ぶか調整する。入力は文章と画像で、追加センサーは想定しない。
小規模な依頼文群で、元の生成モデル、完成画像の順位を途中にも使う方法、TailorPOを同じ条件で比べる。検証用の依頼文と判断担当者を学習用から分け、担当者に選ばれた画像の割合と文章への適合性を記録する。TailorPO-Gも試す場合は、報酬モデルで勾配を計算できるか確認する。
限界と課題
著者らは、同じ途中画像から作る二候補が似通うと、学習用の対の多様性が下がり得ると述べる。TailorPO-Gは、微分可能な報酬モデルが使える場合に候補の報酬差を広げる方法だ。ただし本文内では、候補が似通う時点を「大きいt」とする記述と「tが減ると」とする記述が一致しない。
編集上の検証事項は、予測した完成画像の点数が対象業務でも途中候補の順位を適切に表すかである。主要比較の試験数、点数差、計算負荷の詳細も確認できた本文の範囲では特定できず、導入前に評価条件と失敗例を確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Refining Alignment Framework for Diffusion Models with Intermediate-Step Preference Ranking
Direct preference optimization (DPO) has shown success in aligning diffusion models with human preference. Previous approaches typically assume a consistent preference label between final generations and noisy samples at intermediate steps, and directly apply DPO to these noisy samples for fine-tuning. However, we theoretically identify inherent issues in this assumption and its impacts on the effectiveness of preference alignment. We first demonstrate the inherent issues from two perspectives: gradient direction and preference order, and then propose a Tailored Preference Optimization (TailorPO) framework for aligning diffusion models with human preference, underpinned by some theoretical insights. Our approach directly ranks intermediate noisy samples based on their step-wise reward, and effectively resolves the gradient direction issues through a simple yet efficient design. Additionally, we incorporate the gradient guidance of diffusion models into preference alignment to further enhance the optimization effectiveness. Experimental results demonstrate that our method significantly improves the model's ability to generate aesthetically pleasing and human-preferred images.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01