表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

画像生成前の配置計画を直すと、物体の位置関係は改善するか

Geometric Plan Repair

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Geometric Plan Repairの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

(a) Own chain

出典:Geometric Plan Repair / arXiv ↗

概要

  • GoT-R1-1Bでは、生成画像の93.8%が計画に記した位置関係を実現したと著者らは報告する。
  • 空間関係の検証用300件で、枠の幾何だけを修正すると、物体検出器で測った正答率は0.750から0.857になった。
  • 計画の枠と説明文が矛盾すると、著者らは物体の重複や融合を観察した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Geometric Plan Repairの仕組み

左から右へ読む
  1. 01位置を指定した依頼文
  2. 02物体と座標枠の計画
  3. 03枠の検査と修正
  4. 04候補画像

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

GoT-R1は画像を作る前に、物体名、属性、置く範囲を文章と座標で計画する。「猫をソファの上に」と頼んだのに配置が違う場合、計画自体の誤りか、画像生成側が計画に従えなかったのかで、直す工程が変わる。

この研究は、生成前の計画を編集できる性質を使い、両方の原因を調べた。配置の正しさを測る方法も検証し、採点方法によって結論が逆転しないか確かめている。

手法

GoT-R1-1Bは依頼文を受け、物体名や色と、画像内で物体を置く四角い範囲を示す「境界枠」を計画に書いてから画像を生成する。著者らは「猫がソファの上」といった指定について、二つの枠の中心座標を比べ、計画が依頼文の上下・左右関係に合うか検査した。

計画が合わなければ、再作成するか、誤った枠を入れ替える。別の条件では物体名と説明文を残し、枠の位置だけを直した。その計画から生成した画像を物体検出器で調べる。物体検出器は画像内の対象とその範囲を推定する仕組みで、見つけた位置を依頼文や計画と照合した。

新規性

著者らは、画像生成前に出る計画の枠を操作し、計画の誤りと、その計画を画像に反映する段階の誤りを切り分けた。枠の入れ替えが画像の配置を反転させることを利用し、位置関係の採点方法も検証している。

物体名と説明文を保ち、枠の位置だけを直す実験で、計画の幾何が結果に与える影響を確かめた。文章の長さより、枠同士の向きと間隔が重要だと報告する。

従来手法との違い

基準は、GoT-R1-1Bが自分で作った計画をそのまま使う条件である。著者らは、計画を検査して作り直す方法、誤った二つの枠を入れ替える修正、枠の幾何だけを直す修正、正しい計画への全面置換を比べた。

検査後の再生成には別の生成経路を使うため、その効果は同じ経路で作った新規計画の基準値と比較している。画像生成前の検査は計画の誤りを対象とし、生成後に残る画像側の誤りまで解消するとは示していない。

実験結果

著者らはT2I-CompBench++の空間関係の検証用300件を、GoT-R1-1Bで評価した。OWLv2という物体検出器による位置関係の正答率は、無修正で0.750、枠の幾何だけの修正で0.857だった。差は10.7ポイントで、同じ依頼文を対応付けた検定ではp<0.0001と報告する。

生成画像の93.8%は計画に書かれた位置関係を実現した。計画を検査して再作成する条件は、対応する新規計画の基準値0.773から0.823へ5.0ポイント上がった。5人の評価者による240画像の調査では、検出器の判定が人間の多数決と81%で一致した。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:商品画像で「赤い箱を青い瓶の右に置く」という依頼を扱う。入力は依頼文と商品名・色・配置を記した計画、出力は位置関係を確認した計画から生成する候補画像とし、担当者が採否を決める。

追加学習を前提とせず、検証には商品ごとの名称、色、正しい左右・上下関係を記したラベル付き依頼例が要る。撮影センサーは使わない。商品に合わせた名称と枠の対応付け、説明文と枠の整合確認が必要で、この用途での改善は未検証である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:商品二つの左右・上下を指定する依頼文を集め、商品名、色、正しい位置関係のラベルを付ける。元モデルの学習データの詳細は確認できた本文の範囲では示されていないため、追加学習を前提にせず、まず検証用の例を用意する。撮影センサーは不要である。

同じ依頼文と生成条件で、計画をそのまま使う基準と、枠を照合・修正する条件を比べる。商品名と検出対象の対応を調整し、人の確認結果と検出結果を記録する。依頼どおりの配置率、物体の欠落・重複、説明文と枠の矛盾、人手修正回数を測る。

限界と課題

著者らは、対象がGoT-R1の1Bと7Bという一つのモデル系列であり、各検証用部分集合が300件であると明記する。他の画像生成方式への一般化には追試が要る。また、画像側の位置判定は、使用した物体検出器が対象を見つける精度に制約される。

編集上の検証事項は、似た商品を検出器が取り違えないか、修正した枠と説明文の矛盾を運用中に見つけられるかである。著者らは矛盾する計画で物体の重複や融合を観察しており、商品画像での採否と人手修正時間は別途測る必要がある。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

The Plan, Not the Decoder: Diagnosing and Repairing Compositional Failure in Reasoning-Augmented Text-to-Image Generation

Reasoning-augmented text-to-image models such as GoT-R1 emit an explicit textual plan - object names, attributes, and bounding boxes - before generating image tokens. When such a model fails a compositional prompt, is the plan wrong, or is the plan right and the decoder unfaithful? Because the plan is machine-readable it can be edited before decoding, which makes the two separable. We first validate the ruler. Swapping the two bounding boxes inside the model's own chain demonstrably flips the generated layout: detector-based accuracy falls 0.75 -> 0.48 (p<1e-3), while a widely used VQA-based spatial metric rises. A five-rater human study agrees with the detector on 81% of items and with the VQA judge on 57%. All spatial results therefore use geometric scoring. Under sound measurement the decoder is a faithful executor: 94% of generated layouts realize the planned relation, and object-box binding survives reordering of the plan's object segments. The planner is the bottleneck. It writes wrong relations for phrasing-dependent reasons - 98% accuracy on "left" against 54% on "right" for semantically identical layouts, a raster-order bias we isolate with a mention-order control - and cluttered geometry that the decoder faithfully reproduces. Editing the plan therefore fixes the image without retraining: symbolic verification with resampling gives +5.0 points (p<1e-3), minimal in-place repair +6.0 (p=.02), rewriting only box geometry +10.7 (p<1e-4), and replacing the plan outright +13.3 (p=1e-4). Gains are indifferent to the plan's prose style and to its likelihood under the planner, but not to its geometry. Modular planner-decoder designs are therefore viable, provided the plan is internally consistent: box-text contradictions induce object duplication and identity fusion. We release the plan-fidelity evaluation protocol, all plans, and 12k generated images.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01