アーカイブ / Audio / Computer Vision / VLM
衛星画像から音の候補を探すSat2Sound：検索による音環境マップ
Sat2Sound
Sat2Soundの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Sat2Sound framework learns a shared multimodal embedding space between satellite images, audio, audio captions, and image captions. Modality-specific encoders generate token embeddings for each modality, which are aligned into a shared codebook through an attention-score-based concept aggregation process.
概要
- 衛星画像、位置付き音声、音声の説明文、画像から生成した説明文を共有の音概念で結び付ける。
- 著者らはGeoSoundのBing画像・縮尺1、メタデータなしの画像から音声を探すR@10について、PSMの0.423に対しSat2Soundは0.534と報告した。
- 音環境マップは入力した音と地点の類似度を示すもので、その時刻の現地音を実測した地図ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Sat2Soundの仕組み
- 01地点の衛星画像
- 02領域の特徴を抽出
- 03音概念で照合
- 04音声・説明文を検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Sat2Soundは、衛星画像から周辺の音を検索し、音との対応の強さを地図にする方法だ。音環境とは、交通音や人の声、自然音など、その場所で聞こえ得る音の集まりを指す。地図から音の候補を探せれば、場所を音の面から調べられる。
従来の学習には、撮影地点と結び付いた録音を使う。ただし一回の録音には、その場所の多様な音源がすべて入るとは限らない。著者らは衛星画像から作った音環境の説明文を加え、この不足に対処する。
手法
学習時は、位置付き音声、その内容を記した文章、録音地点の衛星画像、LLaVAが画像から生成した音環境の説明文を組にする。LLaVAは画像を読んで文章を作る視覚言語モデルだ。画像の小領域、音声の時間部分、文章中の語を数値の特徴に変え、対応する組の特徴を近づける「対照学習」を行う。
各特徴は、入力の種類をまたいで共有する「音概念」の重み付きの組み合わせで表す。音概念を収めた学習可能な一覧がコードブックだ。例えば鉄道沿いの画像と「列車が通る音」という文章の特徴を照合し、地点ごとの類似度を地図にする。音声や説明文を探すほか、取得した説明文に対応する合成音を事前に用意して検索する方式も示す。
新規性
著者らの提案は、衛星画像、位置付き音声、音声の説明文に、画像から生成した音環境の説明文を加えて学習する点にある。一回の録音に含まれない音の候補も、文章を通じて表現する狙いだ。
さらに、画像の小領域や文章中の語を、複数の入力で共有する音概念と結び付ける。地点全体を一つの特徴で表す従来法に対し、画像内の場所と音の表現の対応も調べられるようにした。
従来手法との違い
比較対象のGeoCLAPとPSMは、衛星画像、音声、音声の説明文を対応付け、各試料を全体的な特徴で表す。Sat2Soundは画像から生成した説明文と共有の音概念を加え、複数の音源が共存する場面を扱う。
画像から説明文を探す課題では、画像とその説明文だけで学習したSat2Textとも比較した。GeoSoundのBing画像、縮尺1、メタデータなしのI2T-R10はSat2Textが0.904、Sat2Soundが0.881で、この条件ではSat2Textの方が高い。
実験結果
著者らはGeoSoundとSoundingEarthで、画像と音声を相互に探す課題を評価した。R@10は正解が検索結果の上位10％に入る割合、MRは正解順位の中央値だ。評価に使う学習時点は、検証データの画像から音声を探すI2A-R10で選んだ。
GeoSoundのBing画像・縮尺1のI2A-R10は、メタデータなしでPSMの0.423に対し0.534、ありで0.828に対し0.871と著者らは報告した。SoundingEarthでは同じ順に0.514対0.570、0.563対0.626だった。これらは検索結果であり、現地の音量や聞こえ方を測った精度ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：鉄道沿線の散策地図に「列車の走行音」を入力し、各地点の衛星画像との類似度を表示する。利用者には候補地点の音声と説明文を示し、現地の実測騒音値とは区別する。
対象地域の衛星画像、位置付き録音、録音内容の説明文、画像から作る音環境の説明文を学習用に用意する。収録にはマイクを使い、列車音の有無を人がラベル付けする。地域のデータでモデルを調整し、有効性を確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：小さな鉄道沿線区域で、地点ごとの衛星画像とマイクによる位置付き録音を集める。学習用には録音内容の説明文と、画像から生成する音環境の説明文を用意する。評価用には地点と録音の対応、列車音の有無を人が確認したラベルを付ける。
対象地域のデータで調整したSat2Soundを、同じ学習・検索候補を使うPSMと比べる。評価地点を学習地点から分け、画像から音声を探すR@10と正解順位、列車音ラベルと地図の候補の一致を測る。月、時刻、録音元を使う条件では欠損も記録する。
限界と課題
著者らは、衛星画像と現地の音の関係が一意に決まらず、画像から文章、文章から音へと順に生成する方式には計算費用と遅延があると述べる。検索方式は事前に用意した候補から選ぶため、候補にない音をその場で生成するものではない。
編集上の検証事項は、生成した説明文が実際の音をどこまで表すか、季節や時刻、録音元の偏りが地図にどう影響するかである。確認できた本文の範囲では、未収録地域での正確さや合成音を現地録音と区別する表示の適切さは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Sat2Sound: A Unified Framework for Zero-Shot Soundscape Mapping
We present Sat2Sound, a unified multimodal framework for geospatial soundscape understanding, designed to predict and map the distribution of sounds across the Earth's surface. Existing methods for this task rely on paired satellite images and geotagged audio samples, which often fail to capture the full diversity of sound at a location. Sat2Sound overcomes this limitation by augmenting datasets with semantically rich, vision-language model-generated soundscape descriptions, which broaden the range of possible ambient sounds represented at each location. Our framework jointly learns from audio, text descriptions of audio, satellite images, and synthetic image captions through contrastive and codebook-aligned learning, discovering a set of "soundscape concepts" shared across modalities, enabling hyper-localized, explainable soundscape mapping. Sat2Sound achieves state-of-the-art performance in cross-modal retrieval between satellite image and audio on the GeoSound and SoundingEarth benchmarks. Finally, by retrieving detailed soundscape captions that can be rendered through text-to-audio models, Sat2Sound enables location-conditioned soundscape synthesis for immersive and educational applications, even with limited computational resources. Our code and models are available at https://github.com/mvrl/sat2sound.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01