新着研究 / VLM / Computer Vision
単語には残る位置関係が文全体の表現で消える、EICSがVLMの空間情報を内部から検査
EICS and CASP-VL
概要
- 一つの概念だけを変える介入で、内部表現に概念が一貫して残るかを測るEICSを提案した。
- Visual Genomeの場面グラフから、空間関係を制御して変えるCASP-VLを構築した。
- 位置関係は対応する述語のトークンで識別できても、文全体への集約で失われる傾向を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EICS and CASP-VLの仕組み
- 01場面グラフ
- 02空間関係の制御変更
- 03VLMの内部表現
- 04概念保持の評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像と言葉を扱うVLMが質問へ正しく答えても、その内部表現に対象どうしの関係が保たれているとは限らない。例えば物体名が分かることと、どちらが上にあるかを他の処理へ渡せることは別の能力である。
本研究は出力の正答だけでなく、空間関係が内部の表現で一貫して区別できるかを調べる。検索や後段の解析に文全体のベクトルを使う場合には、集約後も必要な関係が残っているかが重要になる。
手法
EICSは、一つの概念だけを変えるよう制御した介入に対し、表現がその概念を安定して符号化するかを測る指標である。概念以外の違いが混ざる比較を避け、空間関係に対応する内部の変化を調べるために使う。
評価集合CASP-VLはVisual Genomeの場面グラフを基に作る。場面グラフは物体とその関係を記述した構造で、そこから空間関係の変更を制御する。例えば物体名を同じに保った関係の違いについて、述語に当たるトークン、文末のEOSトークン、全トークンの平均を比べる。EOSは文章の終わりを表す記号で、文全体の代表表現にも用いられる。
新規性
出力評価で見えない、内部表現の概念保持を直接調べる点が中心である。関係を一つだけ変える評価集合と、その変化に対する安定性の指標を組み合わせる。
情報が最初から認識されない問題と、認識された情報が集約時に失われる問題を区別する。モデルの入力内にある関係を、後段で使う表現が保存できているかという、表現の受け渡しの段階に焦点を当てる。
従来手法との違い
複数のVLM構成を対象に、空間関係の保持と語彙情報の保持を比べる。著者らは、構成的なベンチマークで偶然水準を大きく上回るモデルでも、空間関係の忠実さは語彙情報より低いと報告する。
さらに関係を表す述語のトークンと、EOSや平均による文全体表現を比較する。単語を区別できる能力、質問に答える能力、集約表現へ関係を残す能力を、一つの成績へまとめずに確認する分析である。
実験結果
著者らはCASP-VLを用いて、制御した空間的な変更に対する内部表現を複数のVLMで評価した。主要な結果は、位置関係が語彙情報ほど忠実に保存されないことと、出力ベンチマークの好成績ではその差が見えにくいことである。
追加分析では、関係そのもののトークンで識別可能な情報が、EOSによる集約でも平均による集約でも失われると報告する。ここでは改善率や個々のモデルの順位を補っていない。表現のどの段階を使うかが、結果の意味を左右することに注目したい。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：棚や設備の画像を検索する仕組みで、物体名だけでなく配置関係を使って検索したい場合の診断へ使う。入力は同じ物体を異なる配置で写した画像と言語記述、出力は関係が残る表現と失われる表現の比較である。
文全体のベクトルだけを保存する検索が、配置を問う質問で弱い理由を調べることを狙う。論文はその検索システムの改善を実証していないため、保持の測定と実際の検索成績を結び付けて検証する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物は同じで上下や左右だけが変わる画像・記述の小集合を作る。現在使う集約表現を基準に、関係トークンの表現や別の集約方法を比較し、位置関係の区別を測る。
物体名だけの検索と位置関係を含む検索を別々に評価する。背景、物体の大きさ、語順を変える条件も設け、関係ではなく別の手掛かりで区別していないかを確認する。内部指標の改善が検索の正解率へつながるかも測定する。
限界と課題
本研究が示すのは、試したVLMと空間関係の条件における表現上の問題である。関係が集約表現から取り出しにくいことを、モデルがすべての位置関係を理解できないという結論へ広げることはできない。
編集上は、現場画像への移行、複雑な遮蔽、三次元の関係、使う後段モデルによる差を確認したい。内部指標は出力の正しさと同じではないため、指標の変化だけで採用判断をせず、対象用途の成功・失敗を併せて評価する必要がある。
出典
元のタイトル・要旨を確認する（英語）
When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
Vision-Language Models (VLMs) increasingly analyze and reason about images, yet it remains unclear whether their internal representations faithfully encode the structured relations required for such reasoning. We introduce EICS (Evaluation-Invariant Concept Stability), a metric for testing whether representations consistently encode concepts under controlled one-concept interventions, and CASP-VL (Causally controlled Spatial Perturbations for Vision-Language models), a benchmark of causally controlled spatial perturbations derived from Visual Genome scene graphs. Across multiple VLM architectures, we find that spatial relations are represented substantially less faithfully than lexical information, even when the same models score well above chance on compositional benchmarks. Further analysis shows that the relation is identifiable at the predicate's own tokens but is lost when the sentence is aggregated into a global representation, whether through the (EOS) token or by mean pooling. These findings reveal a systematic failure invisible to output-based evaluation: VLMs do not preserve, in the representation used downstream, relational information that is present in their own input.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-13