アーカイブ / Generative AI
画像特徴の球面に沿って学習し、標準的なDiTで画像を生成するRJF
Riemannian Flow Matching with Jacobi Regularization (RJF)
Riemannian Flow Matching with Jacobi Regularization (RJF)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Geometric Trajectories on the Hypersphere. Visualization of flow matching paths on the manifold 𝒮 d − 1 \mathcal{S}^{d-1} . Standard Euclidean Flow Matching constructs linear paths that ignore the manifold geometry. Whether targeting standard Gaussian noise ϵ \epsilon ( orange ) or projecting noise onto the sphere ϵ s \epsilon_{s} ( purple ) to strictly learn the angular component, the linear interpolation forms a chord that cuts through the low-density interior. This forces the model to learn a velocity field in undefined regions regardless of the endpoint. In contrast, Riemannian Flow Matching follows the geodesic (blue curve) , ensuring the intermediate state x t x_{t} remains strictly on the manifold surface. The resulting velocity field u t M ( x t ) u_{t}^{M}(x_{t}) is correctly defined within the tangent space ( pink plane ), naturally respecting the geometry of the representations.
概要
- RJFは画像特徴が集まる球面上に生成経路を置き、曲率を考慮してDiTの速度予測を学習する。
- 著者らのImageNet-1K・256×256画像・誘導なし・80エポックの比較では、DiT-XLのFIDは通常手法の4.28に対しRJFで3.62だった。
- 部品画像への応用には対象写真と種別ラベルを用意し、復号画像の妥当性と通常手法との差を対象業務で検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Riemannian Flow Matching with Jacobi Regularization (RJF)の仕組み
- 01画像のDINOv2特徴
- 02球面上の経路
- 03速度誤差を重み付け
- 04球面上で特徴生成
- 05画像へ復号
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RJFは、画像を数値の列に変える特徴抽出器の出力を使って画像を生成する方法である。著者らはDINOv2-Bの特徴が、数値列の長さがほぼ一定となる高次元の球面に集まり、主な違いは向きに表れると分析した。
通常の学習は雑音と特徴を直線で結ぶ。しかし途中の点は球面の内側に入り、実際の特徴が少ない領域を通る。標準的な画像生成モデルがこの特徴上で学習しにくい理由を調べ、その経路を改めることが課題だった。
手法
学習では画像から得たDINOv2-Bの特徴と乱数を、それぞれ長さ1の球面へ移す。両者を球面上の最短経路で結び、途中の点と進む方向を作ってDiTに学ばせる。この最短経路を測地線、各点で進む方向を予測する学習をフローマッチングと呼ぶ。
予測した方向から球面に垂直な成分を除き、経路の曲率に応じて速度の予測誤差に重みを掛ける。生成では球面上の乱数から始め、予測した方向に従って球面上で特徴を更新し、最後にデコーダーで画像へ戻す。クラス条件付き生成では、指定する画像の分類ラベルもモデルに渡す。
新規性
著者らが提案するのは、画像特徴の分布に合わせて生成経路と学習時の誤差の重みを変える方法である。球面上の最短経路を使い、経路の曲率による速度誤差の伝わり方も損失に反映する。
モデルの幅を特徴の次元まで広げる先行案とは異なり、標準的なDiT-Bで学習が進んだと報告する。ただし、その結果は検証された特徴抽出器と生成条件に限られる。
従来手法との違い
比較の中心は、DINOv2-Bの特徴と雑音を直線で結ぶ通常のフローマッチングである。著者らの分析では、その直線は特徴が集まる球面の内側を通り、モデルが特徴の大きさに関する誤差も学ぶことになる。
RJFは球面上の経路と曲率に応じた損失を使う。ImageNetの誘導なし・80エポックでは、DiT-Bの通常手法がFID 24.21、RJFが6.77、DiT-XLではそれぞれ4.28、3.62だった。
実験結果
著者らはImageNet-1Kの256×256画像でクラス条件付き生成を評価し、主にLightingDiTを基本構造として用いた。推論は球面上の更新を50回行い、生成画像5万枚で評価した。FIDは生成画像と実画像の特徴分布の隔たりを表し、低いほど近い。
誘導なし・80エポックのDiT-Bでは、通常手法のFID 24.21に対しRJFは6.77、DiT-XLでは4.28に対し3.62だった。著者らは別条件の200エポックのDiT-Bについて、誘導ありで3.37、誘導なしで4.95とも報告する。学習期間と誘導条件の違う値は直接比較できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造業の部品カタログ用に、制作担当者が確認する画像案を作る。入力として使用許可を確認した部品写真と部品種別ラベルを集め、特徴抽出器、画像へ戻すデコーダー、生成モデルを対象画像に合わせて検証・調整する。
生成時は部品種別を指定し、得た特徴を画像に戻して候補を提示する。担当者が形状と表示内容を点検し、採用案だけを制作工程へ渡す。写真からは寸法や実物の仕様を保証できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用許可のある部品写真と部品種別ラベルを用意し、学習用と確認用に分ける。新たなセンサーは想定せず、写真の取得条件を記録する。まずDINOv2-Bの特徴とデコーダーが対象部品の形状を保てるか確認する。
次に同じ写真、ラベル、モデル規模、学習量で直線経路の手法とRJFを比較する。学習の進み方に加え、担当者が部品種別と形状を妥当と判定した割合、誤った細部の割合を測る。その結果から追加学習やデコーダー調整の要否を判断する。
限界と課題
著者らが示した制約は、DINOv2-Bの特徴に通常の直線経路を使うと学習が進みにくく、雑音だけを球面に置いても十分には改善しない点である。図1では後者のFIDは19.07、通常手法は21.64と報告される。
編集上の検証事項は、別の画像群や特徴抽出器でも同じ球面構造が成り立つか、復号した画像の細部が用途に足りるかである。また、本文の経路式は画像特徴を時刻0、雑音を時刻1に置く一方、生成手順は雑音から始めるため、実装前に時間方向の対応を確認したい。
出典
元のタイトル・要旨を確認する（英語）
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
Leveraging representation encoders for generative modeling offers a path for efficient, high-fidelity synthesis. However, standard diffusion transformers fail to converge on these representations directly. While recent work attributes this to a capacity bottleneck proposing computationally expensive width scaling of diffusion transformers we demonstrate that the failure is fundamentally geometric. We identify Geometric Interference as the root cause: standard Euclidean flow matching forces probability paths through the low-density interior of the hyperspherical feature space of representation encoders, rather than following the manifold surface. To resolve this, we propose Riemannian Flow Matching with Jacobi Regularization (RJF). By constraining the generative process to the manifold geodesics and correcting for curvature-induced error propagation, RJF enables standard Diffusion Transformer architectures to converge without width scaling. Our method RJF enables the standard DiT-B architecture (131M parameters) to converge effectively, achieving an FID of 3.37 where prior methods fail to converge. Code: https://github.com/amandpkr/RJF
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01