表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

きれいな目標画像より正しい操作対象を優先、SGE-Goalが領域マスクを先に予測

SGE-Goal

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

SGE-Goalの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Goal images are control targets, not artworks. General-purpose editors try optimizing for editing quality in general, but for robotic manipulation a goal image must primarily (i) manipulate the correct object to the correct final state and (ii) avoid spurious changes that mislead the policy. SGE-Goal achieves this through explicit spatial grounding, while strong general editors introduce unmentioned changes, miss the instruction, or hallucinate objects.

出典:SGE-Goal / arXiv ↗

概要

  • 目標画像を見た目でなく、それを使うロボットの操作成功率で評価する。
  • 操作前後の二次元領域マスクを予測し、その位置情報から目標画像を生成する。
  • CALVINでは長い連続課題で改善する一方、SIMPLER-BridgeではGeminiが上回る。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、SGE-Goalの仕組み

左から右へ読む
  1. 01現在画像と操作指示
  2. 02初期領域マスク
  3. 03最終領域マスク
  4. 04目標画像を生成
  5. 05目標条件付き制御

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

SGE-Goalは、ロボットへ渡す目標画像を、操作対象と最終状態が正しく伝わるように生成する方式である。目標画像で制御するロボットは、今の画像と指示から作った完成場面を見て、そこへ近づく動作を選ぶ。

一般的な画像編集で高品質に見えても、対象を取り違えたり関係ない物を変えたりすれば制御には不向きになる。研究は、写真らしさの得点と、下流のロボットが実際に成功するかを区別し、目的に合う画像評価を求めている。

手法

操作前にどこが対象で、操作後にどこへ移るかを二つの二次元マスクとして先に予測する。マスクは画像の中で変更する領域を示すもので、言語だけから画像全体を直接編集する代わりに、空間的な条件を明示する。

この条件を使ってFLUX系の公開モデルを微調整し、目標画像を生成する。例えばコップを別の位置へ移すなら、元の領域と移動先を分けて条件にし、それ以外の場面を余計に変えないようにする。生成した画像を既存の固定済み方策へ渡し、画像生成器だけを替えたときの操作成功を評価する。

新規性

主張は二つあり、一つは画像の美しさを目標信号の良さと同一視しない実証、もう一つは空間推論を前後の領域マスクへ分解する生成方式である。正しい物体と正しい最終状態への一致を優先する。

画像編集を目的別に調整した小さな公開モデルが、汎用編集器より制御で有効になる条件を示す。ただしモデルの規模だけで優劣が決まるという主張ではなく、評価対象に合わせた学習と構成の効果として読む必要がある。

従来手法との違い

CALVINではGR-MGとGHIL-Glueの二つの方策を固定し、一般の編集器、未調整の本体、SGE-Goalで作った目標画像を比較した。二つの方策で方式順位がよく一致し、一つの制御器だけの傾向ではないとする。

一方、実世界に整合させたSIMPLER-BridgeではSGE-Goalは公開方式の中で強いが、Gemini 3 Pro Imageが全体では上回った。CALVINの長期課題の優位を、あらゆる模擬環境や実機の優位へ広げないことが必要になる。

実験結果

著者らは操作対象と最終状態への一致が成功率と約0.9の順位相関を持ち、写真らしさや美的な一致は約0と報告する。これは観測された対応関係であり、単独で因果の強さを示す値ではない。

CALVINのGR-MGで五段階を連ねた成功率は、SGE-GoalのFLUX.1版30.9%に対しGeminiは4.4%だった。SIMPLER-Bridgeの平均ではSGE-GoalのFLUX.2版10.4%、Gemini12.5%となる。目標生成の実行時間はA10G一台で約10.6秒とされる。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:卓上の部品移動で、文章から作った完成画像をロボットへ渡す前に、操作前後の位置を確認する。入力は現在画像と「この部品を右の箱へ」などの指示、出力は領域マスクと完成画像とする。

担当者が対象と移動先の二点を見直せれば、外観が自然でも誤った部品を示す失敗を検出しやすい。複数段階の作業では生成目標を次へ引き継ぐため、無関係な背景のずれが蓄積しないかも確認する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:既存の目標画像生成器を基準にし、同じ固定方策で一段階と複数段階の成功率を比べる。画像の美しさ、対象選択、最終配置、無関係領域の変更を別々に採点する。

マスクだけ正しいのに動作が失敗する例も記録し、生成と制御のどこでずれるかを調べる。生成時間と待機中の場面変化を測り、約十秒規模の処理が対象作業に間に合うかを確認する。長い連鎖では各段の成否と全体完遂率を両方残す。

限界と課題

確認できた本文の結果はCALVINとSIMPLER-Bridgeの評価に基づく。後者は実世界に近い条件を模すが、実機で多様な物体を継続操作した実証と同じではない。平均成功率自体が低い条件も残る。

編集上の確認点は、遮蔽、精密な接触、カメラ変化に対して二次元マスクで十分かである。目標画像を正しく生成できても、使う方策の能力や生成待ちの遅延が別の制約になる。美的指標を操作成功へ置き換える評価設計にも、対象作業に合う検査が必要となる。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Goal Images Are Control Targets: Spatially-Grounded Goal-Image Synthesis for Robotic Manipulation

Goal-conditioned manipulation policies are steered by a goal image, a picture of the desired post-manipulation scene synthesized from the current observation and a language instruction. The prevailing assumption is that better image-editing quality yields better goals, so goal generators are built and compared using general image-editing metrics. We show this assumption is false. Across two independent goal-conditioned policies on CALVIN, the image editors that top aggregate editing-quality leaderboards (Gemini 3 Pro Image and GPT Image 1.5) produce worse control targets than our proposed far smaller finetuned open models, and the gap widens sharply for the multi-step (long-horizon) tasks robots actually face. A per-dimension analysis explains why. Downstream policy success is governed almost entirely by manipulation adherence (selecting the right object and the right final state; Spearman $ρ\approx 0.9$ with success), while photorealism and aesthetic fidelity, precisely where large proprietary editors excel, are uncorrelated with success ($ρ\approx 0$). This dissociation holds on both CALVIN and the real-world-aligned SIMPLER-Bridge benchmark. We then present SGE-Goal, a spatially-grounded decomposed editing framework that predicts initial and final 2D edit-region masks before goal-image synthesis. SGE-Goal turns open base models (FLUX.1 Kontext, FLUX.2 klein) into the strongest goal generators we evaluate on CALVIN, and second only to Gemini 3 Pro Image on SIMPLER-Bridge. Base models fine-tuned with SGE-Goal also hold up under chaining far better than the best proprietary editor, sustaining roughly seven times the success rate at the longest (five-step) chains. We release code, datasets, checkpoints, and a human-aligned diagnostic evaluator. Our results argue that goal generators must be selected by downstream utility, not by editing-quality leaderboards.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-20