新着研究 / Computer Vision / AI Agent
４枚の参考画像を組み合わせる手順を、画像モデルを変えずに改善
AutoRef
AutoRefの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: AutoRef , one iteration. A harness is a program that calls a frozen reasoning model M θ M_{\theta} and a frozen image generator G ϕ G_{\phi} ; the search rewrites this program. The proposer, a coding agent P P , reads the current beam and the search history ℒ \mathcal{L} and writes K = 4 K=4 new harnesses as code. On D train D_{\mathrm{train}} (pink), everything from every candidate, rejected ones included — scores, evaluator rationales, execution trajectories, and generated images — enters ℒ \mathcal{L} , where P P may inspect it. D val D_{\mathrm{val}} (purple) only ranks the four and keeps B = 2 B=2 ; P P is told which two survived but never their scores. The survivors form the next beam; their parents do not compete again.
概要
- AutoRefは画像生成モデルを固定し、参考画像の解釈から候補選択までを行うコードを探索する。
- ４枚参照のMultiBananaテストで、FLUX.2［klein］4Bの平均点は5.72から7.37へ上がった。
- 手順は１件につき３枚を生成する。別の生成モデルや参照枚数への転用では例外もある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AutoRefの仕組み
- 01依頼文と参考画像
- 02手順コードを探索
- 03候補画像を生成・点検
- 04選んだ一枚
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AutoRefは、複数の参考画像から一枚の新しい画像を作る際の実行手順を改善する。参考画像には人物、商品、背景、画風など異なる役割があり、生成結果では対象が抜ける、重複する、場面になじまず貼り付けたように見えるといった問題が起きる。
実行手順は、参考画像の読み取り方、生成用の指示文、候補の点検、最終画像の選択を定めるコードを指す。どの工程を変えれば改善するかを事前に見積もりにくいため、著者らは手順そのものを探索した。
手法
探索段階では、コードを書くエージェントが実行手順を修正し、生成画像と評価内容を見て次の候補を提案する。修正の参考にする課題と、候補の順位だけを決める課題は分離する。各回４つの候補手順を試し、上位２つを次の修正の出発点にする。この複数候補を残す探索をビーム探索という。
選ばれた手順では、推論モデルが「どの要素をどの画像から取るか」を明記した指示文を作る。構成を変えた２枚を生成して良い方を残し、その欠点を最大５件挙げて３枚目を生成する。最後に、参考画像の欠落や対象の重複などを先に比べ、条件を満たす画像を出力する。
新規性
AutoRefは、画像生成モデルと推論モデルを固定したまま、その周囲で画像の解釈、生成、点検、選択を行う実行手順のコードを自動で探す。生成画像の評価には揺らぎがあるため、手順の修正に使う課題と候補を選ぶ課題を分けた。
得られたAutoRef-Harnessは、参考画像ごとの役割を文で指定し、構成の違う下書きを比べ、問題点を示して再生成する。参考画像の欠落などを先に数える選択規則も含み、複数画像を一枚にまとめる工程に合わせている。
従来手法との違い
基準となるFLUX.2［klein］4Bは、依頼文を使って画像を１枚生成する。AutoRef-Harnessを加える場合は同じ生成モデルから３枚の候補を作り、参考画像との対応や場面のまとまりを見て１枚選ぶ。モデルの重みは更新していないが、１件当たりの生成回数は増える。
著者らは人が書いた複数の生成手順や、別の手順探索法とも比べた。同じ生成モデル、推論モデル、評価器などをそろえた探索法比較ではAutoRefが最も高い最終スコアだったと報告する。単純なモデル単体との点差には、生成回数の差も含まれる。
実験結果
著者らはMultiBananaの４枚参照課題229件を、探索用48件、候補選択用48件、未使用のテスト133件に分けた。テストでは評価器による10点尺度の平均が、FLUX.2［klein］4B単体の5.72から、AutoRef-Harness付きの7.37へ上がった。比較対象のNano Banana Proは7.20、GPT-Image-1.5は7.07だった。
同じ手順を再探索せず３枚・５枚参照へ移した際、FLUX.2［klein］4Bの平均はそれぞれ6.94から7.76、5.19から6.36へ上がったと報告する。別の評価器を使うOmniContextでも8.30から8.85だった。点数は各ベンチマークの評価条件に依存する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。商品紹介の一枚絵を作る担当者が、商品本体、使用する人物、背景、画風の４枚を参考画像として渡す。入力には「商品は一つだけ」「背景はこの室内」「人物の服装はこの画像」という対応関係も書く。出力は条件を照合した候補画像１枚とする。
生成後は商品や人物の欠落・重複、背景違い、光の向きの不一致を一覧で確認する。担当者が採否を決めた結果を保存し、参考画像の役割が違う依頼でも同じ手順が役立つか調べる。これは論文中の広告用途の記述を踏まえた編集上の応用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。実務で頻出する４枚参照の依頼を集め、商品、人物、背景、画風の役割と、完成画像に必須の要素を記録する。まず同じ生成モデルで１枚だけ作る基準を置き、次にAutoRef型の３候補生成と欠落・重複の点検を試す。
別に取っておいた依頼で、必須要素の達成率、余分な対象の数、人による自然さの評価、１件当たりの所要時間を比較する。平均点に加え、背景違いや商品数の誤りが減るかを見ると、業務上の改善を判断しやすい。
限界と課題
著者らの方法は１件につき画像を３枚生成するため、１枚生成の基準より処理量が多い。評価器による見た目の採点にも揺らぎがある。転用例でも一様に改善したわけではなく、５枚参照のQwen-Image-Edit-2511では平均点が1.89から1.87となり、生成モデル側の失敗を手順で補えなかった。
編集上は、参考画像の忠実度だけでなく、人物や商品の同一性、構図の自然さを人が判定する必要がある。自社画像での再現性と、３回生成する時間や費用に見合う改善かを検証したい。
出典
元のタイトル・要旨を確認する（英語）
AutoRef: Harness Optimization for Agentic Multi-Reference Image Generation
Recent image generation models can take multiple reference images as input and combine them into a new image. However, multi-reference image generation remains challenging: models may omit or duplicate subjects from the references, or produce images in which multiple subjects appear unnaturally pasted. Recent work has proposed image generation agents that combine image generation models, reasoning models, and a harness, which is an executable program that specifies how reference images are interpreted, how generation is performed, how outputs are diagnosed, and how the final image is selected. In multi-reference generation, however, references play different roles and outputs must satisfy many criteria at once, such as fidelity to each reference and the naturalness of the whole image, so many parts of the harness could be improved, from how references are processed to how outputs are diagnosed. This makes it hard to predict which changes will improve performance and by how much, and good harnesses difficult to design by hand; indeed, human-written harnesses vary widely in performance. We therefore propose AutoRef, which optimizes the harness automatically while keeping both models frozen: a coding agent iteratively rewrites the harness code. AutoRef separates the tasks whose feedback informs proposals from the tasks used to select candidates, and continues the search from a beam of the top-ranked harnesses on the selection tasks. Using this procedure, we discover AutoRef-Harness, which improves the open-weight FLUX.2 [klein] 4B from 5.72 to 7.37 on held-out four-reference tasks of the MultiBanana benchmark, matching or exceeding proprietary models including Nano Banana Pro and GPT-Image-1.5. Without re-optimization, the same harness also improves results when the generator, number of references, benchmark, evaluator, or reasoning model differs from those used in the search.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29