表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

街路画像から撮影地点は分かるか:視覚言語モデルの位置推定と写真公開時のリスク

MLLM Geolocation Evaluation

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

MLLM Geolocation Evaluationの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 2 : Sample Images of the Dataset.

出典:MLLM Geolocation Evaluation / arXiv ↗

概要

  • 著者らは街路パノラマ1,683枚を作成し、主に無作為抽出した300枚で複数の視覚言語モデルを評価した。
  • Gemini 2.5 Proは評価した300枚で、正解地点から1キロ以内の割合が49.0%、25キロ以内が81.7%だった。
  • 著者らは評価画像の少なさ、o1のみ38枚という条件差、外部ツール利用の影響を体系的に調べていない点を制約に挙げた。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、MLLM Geolocation Evaluationの仕組み

左から右へ読む
  1. 01四方向の街路画像
  2. 02パノラマに結合
  3. 03視覚的手掛かりを分析
  4. 04推定座標を出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

視覚言語モデルは、画像を読み取り、質問に文章で答えるAIである。写真に撮影位置を示すデータが付いていなくても、写り込んだ文字や建物から場所を推測することがある。公開画像から居場所が知られる可能性を考えるうえで、その精度を測る必要がある。

著者らは街路画像の撮影地点を複数のモデルに答えさせ、正解地点との距離を調べた。さらに、モデルの説明に現れた手掛かりを分類し、位置推定と写真公開時のプライバシーリスクを検討している。

手法

著者らは人口上位1,000都市を選び、各都市の中心から10キロ以内に採取地点を設けた。各地点で四方向の街路画像を取得して一枚のパノラマに結合し、モデルには視覚的な手掛かりを順に分析するよう促した。回答は推定緯度・経度、都市名、国名を含むJSON形式にそろえた。JSONは項目名と値を組にして記すデータ形式である。

例えば、看板の語句から国の候補を考え、駅名や建物の特徴を合わせて場所を絞る。著者らが示したGemini 2.5 Proの推論例では、外部の地図や街路画像との照合も行う。評価では推定座標と正解座標の距離誤差、および距離が小さいほど高くなるGeoScoreを算出した。別途、同モデルの説明に出た手掛かりを16種類に分類している。

新規性

本研究は新しい位置推定モデルの提案ではない。複数の視覚言語モデルに同じ街路画像群の撮影地点を答えさせ、座標の誤差と、回答時の説明に現れた視覚的手掛かりを併せて調べた点に特徴がある。

手掛かりの分析では、建物の様式や文字などを16種類に分け、言及頻度と距離誤差を集計した。ただし、説明に現れた要素が実際に予測を決めたかは、この集計だけでは分からない。

従来手法との違い

関連研究として著者らが挙げるStreetCLIPは街路画像と都市を表す文章、GeoCLIPは画像と座標の対応を学ぶ。本研究はそれらを同じ画像で比較した実験ではなく、既存の視覚言語モデルに撮影地点を推定させた評価である。

評価対象にはQwen、Claude、Doubao、Gemini、Novaなどが含まれる。外部の地図ツールを利用できる条件はモデル間で統一されていないため、結果の差を画像の読み取り能力だけの差とは解釈できない。

実験結果

著者らは1,683枚のパノラマを作成し、費用上の制約から無作為に選んだ300枚で各モデルを評価した。ただしo1はそのうち38枚のみで、以後の分析から除いた。指標は正解地点との距離誤差、GeoScore、正解から1キロ以内および25キロ以内に入る割合である。

著者らの報告では、Gemini 2.5 Proは300枚で1キロ以内が49.0%、25キロ以内が81.7%だった。同モデルの説明には建物の様式が97%の画像で現れ、交通施設に言及した画像群は手掛かり別の平均距離誤差が最小だった。ただし、交通施設への言及が精度を高めたという因果関係は示されていない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:写真の公開前に、背景から撮影場所を推測できるかを点検する。入力は公開候補の写真と、撮影地点を知る担当者が管理する正解位置ラベル。モデルの追加学習用データや新たなセンサーは用意せず、街路パノラマ以外の写真に適用する手順を検証する。

担当者がモデルの推定座標と説明に出た看板、施設名、建物を確認し、公開判断用の確認票に記録する。必要に応じて該当箇所を隠した画像を再点検するが、隠すことで位置の推測を防げるという効果は本研究では実証されていない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:公開候補の写真を集め、担当者が撮影地点の正解位置ラベルを付ける。必要な元データは写真とその位置ラベルで、モデルの追加学習用データや新たなセンサーは前提にしない。適用先の写真に合わせ、文字や特徴的な施設を隠す加工手順を決める。

同じ写真について無加工版と加工版を用意し、同じモデルと質問文で推定座標を記録する。無加工版を基準線として、1キロ以内・25キロ以内の割合と距離誤差の変化を測る。位置が分かる写真の見落としと、加工によって写真の用途が損なわれないかも担当者が確認する。

限界と課題

著者らが挙げる制約は、収集した1,683枚のうち評価に使ったのが300枚にとどまること、o1だけ38枚であること、外部ツール利用の影響を体系的に評価していないことだ。とくにo1の結果は参考値として扱い、その後の分析から除いている。

編集上の検証事項は、街路パノラマと異なる私的な写真や、地域・画質の異なる画像でも結果が成り立つかである。手掛かりへの言及と推定への実際の寄与も区別したい。看板などを隠す対策の効果は、加工前後の同じ画像で確かめる必要がある。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Evaluation of Geolocation Capabilities of Multimodal Large Language Models and Analysis of Associated Privacy Risks

Objectives: The rapid advancement of Multimodal Large Language Models (MLLMs) has significantly enhanced their reasoning capabilities, enabling a wide range of intelligent applications. However, these advancements also raise critical concerns regarding privacy and ethics. MLLMs are now capable of inferring the geographic location of images -- such as those shared on social media or captured from street views -- based solely on visual content, thereby posing serious risks of privacy invasion, including doxxing, surveillance, and other security threats. Methods: This study provides a comprehensive analysis of existing geolocation techniques based on MLLMs. It systematically reviews relevant litera-ture and evaluates the performance of state-of-the-art visual reasoning models on geolocation tasks, particularly in identifying the origins of street view imagery. Results: Empirical evaluation reveals that the most advanced visual large models can successfully localize the origin of street-level imagery with up to $49\%$ accuracy within a 1-kilometer radius. This performance underscores the models' powerful capacity to extract and utilize fine-grained geographic cues from visual data. Conclusions: Building on these findings, the study identifies key visual elements that contribute to suc-cessful geolocation, such as text, architectural styles, and environmental features. Furthermore, it discusses the potential privacy implications associated with MLLM-enabled geolocation and discuss several technical and policy-based coun-termeasures to mitigate associated risks. Our code and dataset are available at https://github.com/zxyl1003/MLLM-Geolocation-Evaluation.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01