アーカイブ / LLM / VLM / Generative AI
「立方体が球の前」を描けるか：画像生成モデルと言語モデルの位置関係を比較
Evaluating the Generation of Spatial Relations in Text and Image Generative Models
概要
- 単一関係のA判定率は、著者らの評価で言語モデル平均73.8％、画像生成モデル平均39.0％だった。
- 言語モデルが出した立体配置を画像に描画し、両方式の結果を人が画像で判定した。
- 複合関係ではGPT-4が63.4％、Mixtralが42.9％。GPT-4Vの自動採点と人の判定の一致は人同士の平均を下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Evaluating the Generation of Spatial Relations in Text and Image Generative Modelsの仕組み
- 01図形の位置指示
- 02画像・配置データ生成
- 03配置データを描画
- 04画像を人が判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像生成モデルが物を描けても、「立方体が球の下」のような位置指定を守れるとは限らない。上下や前後を取り違えると、見た目が整った図でも指示とは異なる内容になる。
著者らは、文章から直接画像を作るモデルと、大規模言語モデルによる立体の配置を比べた。物体を基本図形にそろえることで、実物の組み合わせが学習データに現れる頻度の影響を抑え、位置関係に注目している。
手法
球・立方体・円柱から物体を選び、「立方体が球の前」のような文を作る。画像生成モデルは文から画像を直接作る。大規模言語モデルは、立体と位置をJSONという項目付きのデータ形式で記述し、その配置をUnityで画像に描画する。前後の解釈をそろえるため、見る方向も指示する。
単一関係では10種類の位置を一つずつ指定し、複合関係では三つの物体に異なる二つの位置を指定する。人の評価者は画像を見て、位置関係と物体の種類・数を判定する。画像を読んで回答できるGPT-4Vにも単一関係を採点させ、人の判定との一致を調べた。
新規性
著者らは、大規模言語モデルが指定した立体配置を画像に変換し、画像生成モデルの出力と共通の画像判定で比較した。言語モデルの空間関係を視覚的に評価する方法を示している。
球・立方体・円柱に対象を絞り、10種類の位置関係を調べた。さらに、異なる二つの関係を三つの物体に指定する課題を設け、複数の指示を同時に表現できるか確認した。
従来手法との違い
従来の評価は文章から画像を作るモデルを主に扱い、位置関係の種類が少ない研究や、物体の数・属性も同時に変える研究があった。後者では、失敗の原因を位置関係だけに絞りにくい。
本研究は同じ種類の指示を画像生成モデルと言語モデルに与え、両者の結果を画像で判定する。ただし、前者は直接画像を作り、後者は立体配置を別のソフトで描画する。成績差を言語理解だけの差とは断定できない。
実験結果
著者らは画像生成モデル3種と言語モデル5種を、10種類の位置関係で評価した。単一関係では各モデル80枚を生成し、各画像を10人が判定した。位置関係と物体の種類・数がすべて正しい「A」判定の割合は、画像生成モデル平均39.0％、言語モデル平均73.8％で、GPT-4は82.6％、DALL·E 3は50.9％だった。
複合関係は、異なる位置関係の組み合わせ90通りについて計360枚を評価し、GPT-4のA判定率は63.4％、Mixtralは42.9％だった。単一関係の自動採点では、説明文を挟まないGPT-4Vと人の判定の一致を示すCohenのカッパが0.326で、人の評価者の平均0.483を下回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：倉庫の作業手順書に載せる配置図の確認に使う。入力は「箱を棚の前、台車を箱の横に置く」などの指示文、出力は候補画像と、物の種類・数・位置関係を人が照合した記録とする。
追加学習は前提にせず、現場の指示文と手作業で付けた正解ラベルを評価用データとして用意する。センサー入力は使わない。業務上の物を基本図形に対応させて試した後、実物の絵では別に判定する必要があり、効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：倉庫の指示文から、位置関係を一つ含む文と、異なる二つを含む文を選ぶ。追加学習用の元データは用意せず、評価用の指示文、候補画像、物の種類・数・位置関係の手付け正解ラベルをそろえる。センサー入力は使わない。
物を基本図形に対応させて画像を作り、人がラベルと照合する。現行の配置図作成手順を比較基準に、関係ごとのA判定率と、二つの関係がともに正しい割合を測る。実物の絵に適用する際は図形からの対応を調整し、同じ項目を改めて判定する。
限界と課題
著者らが報告した限界は、自動採点に使ったGPT-4Vと人の判定の一致が低いことである。位置関係ごとの成績にも差があり、評価した上位の言語モデル2種では、異なる二つの関係を組み合わせるとA判定率が下がった。
編集上の検証事項は、基本図形での結果が倉庫の物を描いた図にも当てはまるか、視点によって判定が変わらないか、人の判定が割れた画像をどう扱うかである。言語モデルには描画工程が加わるため、生成方式の違いも解釈に残る。
出典
元のタイトル・要旨を確認する（英語）
Evaluating the Generation of Spatial Relations in Text and Image Generative Models
Understanding spatial relations is a crucial cognitive ability for both humans and AI. While current research has predominantly focused on the benchmarking of text-to-image (T2I) models, we propose a more comprehensive evaluation that includes \textit{both} T2I and Large Language Models (LLMs). As spatial relations are naturally understood in a visuo-spatial manner, we develop an approach to convert LLM outputs into an image, thereby allowing us to evaluate both T2I models and LLMs \textit{visually}. We examined the spatial relation understanding of 8 prominent generative models (3 T2I models and 5 LLMs) on a set of 10 common prepositions, as well as assess the feasibility of automatic evaluation methods. Surprisingly, we found that T2I models only achieve subpar performance despite their impressive general image-generation abilities. Even more surprisingly, our results show that LLMs are significantly more accurate than T2I models in generating spatial relations, despite being primarily trained on textual data. We examined reasons for model failures and highlight gaps that can be filled to enable more spatially faithful generations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01