アーカイブ / VLM / Computer Vision
視点が変わると物体を数え損なうか――REMによる空間推論の評価
REM
REMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: REM at a glance . Left: top-down plot showing object distribution and camera trajectory. Center: egocentric views from selected frames, simulating an agent’s perception during navigation. Right: example question-answer pairs that test different aspects of spatial reasoning: counting, comparison, temporal ordering, and left/right relative positioning.
概要
- REMは一人称画像の列と画像間の移動指示を使い、物体の個数、左右関係、登場順などを問う評価用データ群である。
- 著者らの全Baseline評価ではo3の全体正解率は80.0％だが、正解が２個以上の計数では35.7％だった。
- 巡回用途への適用を検討するなら、現場画像に物体ごとの識別ラベルを付け、再登場する物体の数え過ぎと数え落としを測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、REMの仕組み
- 01一人称画像と移動指示
- 02物体について質問
- 03モデルが回答
- 04正解注釈と照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
移動中に撮った画像では、同じ物体が画面から消え、別の角度から再び現れる。画像と文章を扱うマルチモーダル大規模言語モデルが再登場した物体を新しい物体と取り違えると、個数や位置関係の回答が崩れる。
REMは、この問題を調べる評価用データ群である。一人称画像とは、移動する観察者の視点から見た画像を指す。複数の一人称画像と移動の履歴を与え、モデルが視点をまたいで物体を区別できるかを測る。
手法
REMはBlenderで作った三次元の場面から、移動する視点で見た画像列を生成する。モデルには画像の間の動作も渡す。例えば「１メートル前進」「右に15度回転」という記録と画像を見せ、青い物体の数を尋ねる。モデルは視点の変化を踏まえ、同じ物体を二度数えないよう回答する必要がある。
質問は計数、個数の比較、左右の位置関係、見えた順序の４種類である。生成時に各画像の物体の色・形、左右の位置、現れた画像を記録し、正解を作る。回答から数値や「左」「右」などの語を取り出して照合する。データ群には通常の複数画像、１枚画像による計数、360度回転する条件がある。
新規性
REMは、移動中の一人称画像に加え、画像間のカメラの動きをモデルに伝えたうえで、物体を区別し続けられるかを測る。画像枚数、物体数、同じ色と形の物体の数を変え、成績の変化を調べられる。
Full Rotationでは、180度回転した先に初期視点と似た配置を置く。ただし物体の大半は別物であり、見た目が同じ対象も一部含む。移動の履歴と周囲の変化を使って両者を区別できるかを問う設計である。
従来手法との違い
著者らは、１枚の画像を使う既存の評価では視点をまたぐ物体の追跡を測りにくく、複雑な動画を使う評価では失敗に関わる条件を制御しにくいと説明する。REMは単純な合成場面で条件を変え、誤答が増える状況を調べる。
REM内のSingle Frameは、１枚の画像だけを使う計数の対照条件である。複数画像での計数と比べる手掛かりになるが、両条件の差だけで、見分けの失敗と同一物体の追跡失敗の寄与を確定することはできない。
実験結果
著者らは計７モデルを評価したが、Gemini-2.5-Proは小規模なMini-Baselineでのみ試した。全Baselineは3,119経路、47,019問で、画像列は２～64枚、場面内の物体は８～48個。o3の全体正解率は80.0％、計数は60.9％、正解の個数が２以上の計数では35.7％だった。
人との比較に使ったMini-Baselineは18経路、154問で、人の平均正解率は97.8％、o3は80.1％。人には時間制限がなく、メモと画像を行き来できる画面が与えられた。Full Rotationでは、正解が２個の計数でo3が少なく答えた割合は、同じ外見の物体を１個含む条件で86％、２個含む条件で90％と著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：屋内巡回で、同色の箱を重複なく数えられるかを調べる。入力は巡回中のカメラ画像列と画像間の移動記録、出力は指定した箱の個数と、箱が現れた順序への回答とする。カメラと移動を記録する手段が必要である。
現場への適応には、箱の色と形、箱ごとの識別子、各画像に写った箱を示す正解ラベルを用意する。まず既存モデルを評価する想定で、学習用データは使わない。結果から現場での性能向上を見込めるかは、別途検証が必要である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：短い巡回経路でカメラ画像と画像間の移動記録を集め、REMと同様に画像列、移動指示、質問をモデルに渡す。既存モデルの評価だけなら学習用データは不要である。正解用には、箱ごとの識別子、色・形、各画像での出現を人手で記録する。
１枚画像だけで答える条件を比較対象にし、全問と正解が２個以上の計数正解率、数え過ぎ・数え落としを測る。箱の密度や回転幅でも結果を分ける。現場向けに追加学習する場合は、評価用とは別の画像列と物体識別ラベルが必要になるため、その収集と適応方法を別途決める。
限界と課題
著者らが報告したのは、評価したモデルで、物体数が増えたり視点が大きく変わったりすると回答が不安定になるという結果である。REMは識別しやすい色と単純な形を持つ合成物体を使い、物体検出そのものを主な評価対象としていない。
編集上の検証事項は、実際の照明、遮蔽、似た箱が多い配置でも同じ傾向が出るかである。また、論文の採点は回答から最初の数値や方向を示す語などを抽出して照合する。現場で自由文の回答を使うなら、採点結果と回答の実用性を別々に確かめたい。
出典
元のタイトル・要旨を確認する（英語）
REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories
Humans build viewpoint-independent cognitive maps through navigation, enabling intuitive reasoning about object permanence and spatial relations. We argue that multimodal large language models (MLLMs), despite extensive video training, lack this fundamental spatial reasoning capability, a critical limitation for embodied applications. To demonstrate these limitations and drive research, we introduce REM (Reasoning over Embodied Multi-Frame Trajectories), a benchmark using controllable 3D environments for long-horizon embodied spatial reasoning. REM systematically evaluates key aspects like object permanence/distinction, spatial relationships, and numerical tracking across dynamic embodied viewpoints. Our evaluation shows that the best-performing current models exhibit promising overall performance, but become increasingly unreliable at even moderate complexity levels easily handled by humans. These findings highlight challenges MLLMs face in developing robust spatial representations from sequential visual input. Consequently, REM provides targeted metrics and diagnostics to foster improved spatial understanding in future models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01