表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

変更の実現・旧状態の除去・内容保持を別々に検査、画像編集器が自分の成功例で学習

Rubric-CEPR

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Rubric-CEPRの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 2 : Overview of the Rubric-CEPR propose–edit–verify–distill loop. The frozen Qwen-Image-Edit backbone provides the Qwen2.5-VL understanding branch, the MMDiT generative backbone, and the VAE. Given an unlabeled image x x , the Planner (Qwen2.5-VL with LoRA) emits an instruction c c and a structured edit specification s s , and the Editor (MMDiT with LoRA) samples K K candidate edits. The frozen Critic converts s s into rubric prompts and scores each candidate with Qwen-VL support and gain (Eq. ( 2 )) and VAE-latent preservation checks. Semantic edit checks (the new state appears, the old state is gone, the right edit is made) and preservation checks (unrelated content is kept, the change stays local) form the non-compensatory reward R = Gate ⋅ Edit × Preserve R=\mathrm{Gate}\cdot\sqrt{\mathrm{Edit}\times\mathrm{Preserve}} , where a candidate is rejected if any applicable check fails. The best gate-passing candidate trains the Editor with weighted denoising SFT, and band-pass proposal traces train the Planner , giving P t + 1 P_{t+1} and E t + 1 E_{t+1} for the next round. No external reward model is queried at any stage of the primary loop.

出典:Rubric-CEPR / arXiv ↗

概要

  • ラベルのない画像から編集候補を作り、編集器の内部特徴で採用できる例を選ぶ。
  • 一つの高得点で他の失敗を埋め合わせず、必要な検査を全て通った候補だけを学習する。
  • Qwen-Image-EditのImgEdit評点は4.36から4.60、対象抽出は3.41から4.26へ上がった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Rubric-CEPRの仕組み

左から右へ読む
  1. 01未注釈画像と編集提案
  2. 02複数の編集候補を生成
  3. 03内部特徴で条件別検査
  4. 04通過した最良例を学習

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

Rubric-CEPRは、画像編集モデルが自分で作った候補から学習するための検査枠組みだ。自然に見える画像でも、指定した変更をしていなかったり、残すべき内容を変えたりすれば編集としては失敗になる。

改善には人が編集した正解画像や外部の採点モデルを使うことが多い。本研究は、ラベルのない画像と編集器の内部表現を使い、変更できた候補を選んで軽量な追加学習を行う。生成例を無条件に正解扱いしない点が要になる。

手法

Plannerは指示に加え、対象、領域、必要な状態、なくすべき旧状態、保存する内容を構造化して出す。Editorが複数候補を作り、凍結したCriticが編集器に既にある視覚言語特徴や潜在表現で、変更の実現と保持を別々に確認する。

例えば球を青くするなら、青い状態を作ることと古い色が残らないこと、周囲を保つことを確認する。必要な検査の一つでも失敗すれば候補を除外し、見た目の良さで相殺させない。通過した最良候補を重み付きの雑音除去学習に使い、LoRAという少量パラメーターの追加部を更新する。

新規性

一つの総合得点で編集の契約を代用せず、各条件を通過資格として扱う点が中心だ。元画像をほぼ保持しただけの候補や、魅力的でも対象を取り出せていない候補が、次の学習例になるのを防ぐ。

採点器は外部に新規学習した報酬モデルではなく、編集器の内部特徴を使う固定された検査役である。改善するモデルと検査の役割を分け、検査を通った自分の出力から能力を伸ばす設計だ。

従来手法との違い

同じ生成条件の学習前モデル、外部報酬を使うUniWorld、条件別検査を外した単純な自己学習などと比較する。外部方式や他論文の結果は採点の手順が違うため、評点の数字だけで直接順位を決められない。

改善後の評価は指示につき一回の生成で行う。学習中に複数候補を選ぶことと、本番で多数生成して良い画像だけを選ぶことを分ける。別の編集器でも同じ手順を試し、特定モデルへの依存を調べる。

実験結果

著者らはQwen-Image-Edit-2509でImgEditの五点尺度を4.36から4.60へ改善し、三学習種の値は4.58、4.60、4.62だった。対象を取り出す編集は3.41から4.26で、相対改善24.9%を報告する。

同じ重みはGEdit-Benchで7.39から8.31、Complex-Editで8.77から8.97へ改善した。Step1X-EditでもImgEditが3.86から4.16へ上がった。採点には外部のモデルを使っており、外部報酬を使わないという主張は学習時の監督に関するものだ。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:商品画像の背景変更や対象抽出を行う編集器の事前改善に使う。入力は利用権限のある未注釈画像と構造化した編集要求、出力は条件を通過した学習用編集例と追加学習したモデルだ。

商品本体の形や文字を残す条件を明示し、背景がきれいでも本体が変わった候補を採用しない。公開用画像の制作では人が最終確認する。既存モデルが苦手だが検査条件を書きやすい操作に範囲を絞る用途が考えられる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:変更対象と保持対象が明確な小規模画像集を作り、元の編集器を基準にする。候補生成数をそろえ、全条件を通す方式と総合点だけで選ぶ方式を比較する。

変更未実施、古い状態の残存、本体の変化を別々に人が採点し、検査器の誤採用率も測る。追加学習後は一回生成で評価し、未学習の画像や編集種類へ移った成績を確認する。候補生成の費用と利用できた例の割合も記録したい。

限界と課題

本文では、改善が大きいのは元モデルが弱く、かつ内部で成功条件を確認しやすい編集だと説明する。検査が誤る操作では自己学習へ誤りが入る可能性があり、候補を通過させる仕組みの存在だけで正しさは保証されない。

編集上の確認課題は、細かい文字、厳密な個体保持、複雑な複合指示での検査精度だ。GEdit-Benchの背景課題は報酬種類の選択にも使われている。全評価を完全に未知の条件と扱わず、独立した検査画像と人評価を加える必要がある。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Rubric-CEPR: Self-Evolving Image Editing via Reward-Verified Self-Distillation

Instruction-guided image editors have become highly capable, yet improving them further still depends on human-edited training pairs or external reward models. Such supervision is costly to obtain and can reward plausible failures: a realistic output may leave the requested change undone or alter content that should be preserved. In this work, we strive to improve a pretrained image editor using only its own generations, without human-edited targets or an external training-time reward model. To this end, we propose a self-evolving framework, named Rubric-CEPR, that verifies the editor's own samples with its internal representations through a rubric-augmented Contrastive Edit-Preservation Reward (CEPR). A Planner proposes structured edit instructions from unlabeled images, the Editor samples multiple candidate edits, and a frozen Critic scores each candidate with decomposed rubric checks for edit realization, removal of the old state, and content preservation, using features already exposed by the editor. Non-compensatory gates reject infeasible candidates, and the best verified candidate is distilled into the editor through lightweight adapter training. On Qwen-Image-Edit, Rubric-CEPR improves ImgEdit from 4.36 to 4.60 (+5.5%), with a +24.9% gain on object isolation, and transfers to GEdit-Bench and Complex-Edit. The same procedure also improves Step1X-Edit by +7.8% on ImgEdit. We hope our approach will serve as a solid baseline for image editors that improve themselves from their own verified samples. Our code is publicly available at $\href{https://riteshthawkar.github.io/Rubric-CEPR/}{\text{this URL}}$

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-10