新着研究 / Computer Vision
図形をコードで採点し、画像生成の指示理解を鍛えるVVR
Verifiable Visual Rewards
Verifiable Visual Rewardsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example VVRBench tasks from different complexity ranges ( C 1 C_{1} – C 5 C_{5} ) and Challenge ( C ∗ C^{*} ). Each panel shows the prompt, its complexity, the number of object instances, the number of constraints, the active constraint families, and a reference image that satisfies every constraint.
概要
- 図形の配置から指示文と採点規則を同時に作り、生成画像の数、色、位置などを条件別に検査する。
- 著者らの実験では、Stable Diffusion 3.5 MediumのVVRBench正解率が2.81％から28.27％に上がった。
- 自然な指示文への改善も報告されたが、複雑な図形課題や画質との両立は引き続き検証が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Verifiable Visual Rewardsの仕組み
- 01色付き図形の配置
- 02指示文と判定規則
- 03画像生成と画素検査
- 04条件別の得点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像生成器は、物体を描けても「赤い円を三つ、青い四角を二つ、その左側に」といった複数の指示を同時に守れないことがある。数、色、位置の一つでも外れれば、レイアウト案や説明図では使いにくい。
学習時に使う評価器自体が数え間違えると、その誤りを手がかりに生成器を改善することになる。VVRは、正誤を明確に判定できる図形課題から、この問題に取り組む。
手法
まず色、形、位置、大きさを決めた図形の配置を作る。その配置で成立する条件を選び、「赤い円が青い四角の左にある」などの文章へ変換する。同じ条件から判定規則も得るため、指示と正解条件が対応する。
採点時は生成画像の色を固定のしきい値で分け、隣り合う画素をまとめて物体候補を取り出す。輪郭から円、四角、三角を判別し、個数や位置を条件ごとに検査する。全条件に通れば正解とし、学習には条件ごとの部分点も使う。著者らはその得点を報酬とする強化学習、つまり得点の高い出力を増やす学習を行った。
新規性
VVRの新しさは、図形の配置から文章の指示と採点プログラムを同時に作る点にある。実際に成立する配置を先に作るため、複数の条件を組み合わせても実現可能な課題を生成できる。
生成画像は見本画像との類似度ではなく、色、数、形、位置関係などの条件ごとに採点する。著者らは、この点を画像生成向けのプログラムで検証できる報酬として提示している。
従来手法との違い
従来の画像生成の追加学習では、物体検出器や画像と言葉を扱うモデルが、指示に合う画像かを評価してきた。著者らは、そうした学習済み評価器の判定誤りが、数や位置関係を学ぶ際の妨げになると指摘する。
VVRでは対象を色付きの幾何図形に絞り、画素から物体を取り出して固定の規則で判定する。適用範囲は限定されるが、どの条件に違反したかを個別に調べられる。自然な写真の良し悪しを、この採点器だけで判断する仕組みではない。
実験結果
著者らのVVRBenchは1万課題で、基本の32種類の条件を含む。より複雑な720課題のVVRBench-Challengeでは、GPT-Image-2.5-Sunburstの全条件正解率が21.39％だった。基本課題でのStable Diffusion 3.5 Mediumは2.81％だった。
低難度の10万課題で追加学習すると同モデルは28.27％、基本課題に近い難度の10万課題では46.60％になった。自然な指示文を含む別評価でも複数の指標が改善し、160件の対象外の指示文を用いた人手比較では、追加学習後の画像が事前モデルより好まれた割合は71.6％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品画像のラフ案を作る工程で、「赤い箱を二つ、青い箱の左に置く」といった配置指示を画像生成器へ渡す。生成画像を人が選ぶ前に、数と位置の条件を機械的に確認する。
出力は合否だけでなく、数、色、位置のどこで外れたかを示す確認表にする。実際の商品写真や文字入り画像にVVRの採点器をそのまま使えるとは限らないため、まず単純な図形の構図案で運用を試す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社で使う単純な構図指示を、色、個数、左右関係に分けて少数作る。同じ指示を現行の画像生成器と、VVR型の学習を加えた候補に入力し、指示をすべて満たす割合を比べる。
条件別の失敗率に加え、人が見た画質と使いやすさも記録する。図形では改善しても、実際の商品画像で数や配置が改善しなければ用途を広げない。文字や陰影を含む案では、図形用の自動採点を人手確認の代わりにしない。
限界と課題
著者らの結果では、複雑な条件を一枚で満たす課題は依然として難しい。VVRBench-Challengeで最高だったモデルも正解率は21.39％で、失敗は数量の比較や包含関係などに集中した。また、VVRだけで学習すると、一部の美観指標は低下した。
編集上の確認事項は、実業務の画像でも図形課題で得た改善が続くか、細部の品質を損なわないかである。画素のしきい値に基づく採点が、陰影や複雑な輪郭を含む画像にどこまで適用できるかも別に確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Verifiable Visual Rewards Transfer from Synthetic Scenes to Natural Prompts
Precise instruction following in image generation, such as satisfying object counts and spatial relations, remains an open challenge at least in part because it is learned using unreliable reward models such as object detectors and vision-language models. We introduce Verifiable Visual Rewards (VVR), the first framework for programmatically verifiable image rewards, and show that training on it generalizes to natural prompts. Each VVR task is a scene of geometric objects and relations among them, from which we derive both the prompt and a deterministic verifier, so tasks can be generated in any number and at any chosen complexity. We release VVRBench, with 10,000 tasks over 32 constraint types, and VVRBench-Challenge, with 720 more complex tasks; the strongest model we evaluate---GPT-Image-2.5---solves 21.4% of VVRBench-Challenge. Using VVR scores as rewards for reinforcement learning (RLVVR) raises the accuracy of Stable Diffusion 3.5 Medium on VVRBench from 2.8% to 28.3% and demonstrates consistent easy-to-hard generalization. These gains extend to out-of-domain benchmarks, and mixing VVR into existing objectives further improves overall performance and human preference, motivating the adoption of VVR into standard image generation post-training recipes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29