アーカイブ / Computer Vision / Robotics
SLAG：画像ごとの並列処理で3D空間の言語検索用データを作る
SLAG
SLAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : SLAG is a highly scalable, multi-GPU framework for embedding language features into Gaussian splatting scene representations. It computes embeddings as normalized weighted averages of Gaussian parameters, enabling fully parallel processing (SAM-CLIP-Rasterization-Masking) with a simple aggregation step at the end. Bottom: LERF [ 5 ] teatime, figurines and MegaNerf [ 22 ] rubble scenes with corresponding query words and query response.
概要
- SAMで切り出した画像領域のCLIP特徴量を、画素への寄与度で重み付けして3Dガウスに集約する。
- ScanNetの指定場面では、著者らはOpenGaussian比で16GPU時19倍、130秒と本文に報告する。要旨は18倍と記す。
- 特徴量を3Dモデルから分離して保存し、ロボットの位置に応じた区画を検索する構成を提案する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SLAGの仕組み
- 01撮影画像と3D場面
- 02領域別の特徴量
- 03寄与度の抽出
- 04ガウス別の集約
- 05検索語に合う座標
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SLAGは、撮影画像から再構成した3D空間を言葉で検索するための手法である。場面は、多数の小さな3D要素「ガウス」で表す。各要素に言葉と対応する特徴量を付ければ、検索語に近い位置を探せる。
広い場所では画像とガウスの数が増え、特徴量の作成と保存が重くなる。著者らは、時間内に場面を処理し、計算資源が限られるロボットでも必要な部分を検索できることを課題としている。
手法
入力はRGB画像、各画像のカメラ情報、再構成済みの3Dガウス場面である。SAMで画像内の領域を切り出し、CLIPで領域ごとに、言葉との近さを比べられる数値の列「特徴量」を作る。例えば棚の画像に消火器が写る場合、その領域の画像から特徴量を得る。
次に、各ガウスが画像の画素にどれだけ寄与したかを計算し、SAMの領域内にある寄与だけを残す。複数画像の特徴量を寄与度で重み付けして平均し、ガウスごとの特徴量にする。画像単位の処理を並列に進めた後、結果を集約する。検索時は語句もCLIPで数値に変え、現在地に応じた区画のベクトルデータベースで近いガウスを探し、その座標を返す。
新規性
SLAGは、各3Dガウスに対応する言語特徴量を、損失関数を使った反復的な最適化ではなく、画像上の寄与度による正規化した重み付き平均で求める。これにより、画像ごとの領域抽出、特徴量作成、投影、マスク処理を独立に進め、最後に集約できる。
さらに、特徴量を3Dモデルから分離してベクトルデータベースに保存し、位置に応じた区画だけを検索端末へ渡す構成を提案する。
従来手法との違い
比較対象のOpenGaussianも、SAMで得た画像領域とCLIPの特徴量を3Dガウスに結び付ける。本文によれば、OpenGaussianは領域内の特徴をそろえ、領域間を区別する損失関数などを用いて最適化する。SLAGはガウスの画像への寄与度を使い、特徴量を集約する。
実行時間の比較は同じScanNet場面と画像間引き条件で行われた。ただし、3D場面の再構成法は両手法で異なり、報告された時間には再構成を含まない。速度差は言語特徴量の作成工程についての結果である。
実験結果
著者らはScanNetのscene0000_00で、約200万ガウスと252枚の学習画像を使い、言語特徴量の作成時間を比較した。SAMの16×16設定では、OpenGaussianの単一GPU実装に対し、SLAGは単一GPUで1.4倍、16GPUで19倍速く、後者は130秒と本文に記す。要旨の16GPU時の倍率は18倍で一致しない。
LERFの4場面での3D二値領域分割では、平均mIoUがSLAGは39.13、OpenGaussianは38.36だった。別のMega-NeRFの場面では、3800万ガウスと1657画像の特徴量作成に41分を要したと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：倉庫の限られた区域で、ロボットが「消火器」という語から位置候補を探す。必要な入力はカメラで撮ったRGB画像、各画像の撮影位置とカメラ設定、それらから再構成した3Dガウス場面である。特徴量作成用の手作業の物体ラベルは想定しないが、検証には消火器の位置を記録した正解ラベルを用意する。
撮影画像から特徴量を作り、現在地を含む区画のデータを端末へ渡す。検索語に近いガウスの座標を候補として表示し、作業者が確認する。照明や棚配置が変わる区域では、撮影し直して場面と検索用データを更新する運用を検討する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず限定区域をRGBカメラで撮影し、画像ごとのカメラ情報と再構成済みの3Dガウス場面を用意する。特徴量作成用の物体ラベルは置かず、評価用には検索対象の位置を示す正解ラベルを記録する。撮影範囲と区画の大きさは現場に合わせて調整する。
同じ画像と対象区域を使うOpenGaussianを比較基準に、特徴量作成時間と検索位置の一致率を測る。端末へ渡す区画の容量と検索時間も記録し、区画境界にある対象や、棚配置を変えて再撮影した後の結果を確認する。
限界と課題
著者らは、画像ごとにSAMの領域数が異なり、連続して撮った画像では処理量が特定のGPUに偏ったと報告する。大規模場面では特徴量の集約を分割して繰り返す必要があり、複数マシンでの処理には追加のデータ転送も生じるとしている。
編集上の検証事項は、区画の境界付近で対象を取りこぼさないか、現場の変更後も検索結果が妥当か、保存容量と検索時間が許容範囲かである。確認できた本文の範囲では、個別の倉庫での位置検索精度や、更新に必要な作業量は示されていない。
出典
元のタイトル・要旨を確認する（英語）
SLAG: Scalable Language-Augmented Gaussian Splatting
Language-augmented scene representations hold great promise for large-scale robotics applications such as search-and-rescue, smart cities, and mining. Many of these scenarios are time-sensitive, requiring rapid scene encoding while also being data-intensive, necessitating scalable solutions. Deploying these representations on robots with limited computational resources further adds to the challenge. To address this, we introduce SLAG, a multi-GPU framework for language-augmented Gaussian splatting that enhances the speed and scalability of embedding large scenes. Our method integrates 2D visual-language model features into 3D scenes using SAM and CLIP. Unlike prior approaches, SLAG eliminates the need for a loss function to compute per-Gaussian language embeddings. Instead, it derives embeddings from 3D Gaussian scene parameters via a normalized weighted average, enabling highly parallelized scene encoding. Additionally, we introduce a vector database for efficient embedding storage and retrieval. Our experiments show that SLAG achieves an 18 times speedup in embedding computation on a 16-GPU setup compared to OpenGaussian, while preserving embedding quality on the ScanNet and LERF datasets. For more details, visit our project website: https://slag-project.github.io/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01