アーカイブ / Computer Vision
3平面と近傍アンカーで3D場面を圧縮するTC-GS
TC-GS
TC-GSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Comparison of two baselines and our model. From top to bottom: 3DGS [ 6 ] , Scaffold-GS [ 13 ] and TC-GS (ours). We conduct a simple experiment on the ‘bicycle’ scene in the Mip-nerf360 dataset [ 4 ] . The results highlight the superiority of TC-GS in achieving both reduced Gaussian quantity and significantly improved storage efficiency. This demonstrates the potential of our method to handle complex scenes with minimal resource requirements, making it a robust solution for scalable applications.
概要
- TC-GSは3平面、近傍アンカー、位置情報から属性値の確率を予測し、3D場面を圧縮する。
- 表IのTanks & TemplesではScaffold-GSの86.50 MBに対しTC-GSは7.66 MBで、PSNRはいずれも23.96だった。
- 著者らは学習時間の増加と描画速度の低下を報告しており、用途ごとに画質と処理時間の確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TC-GSの仕組み
- 01撮影画像と3D点群
- 02アンカー学習
- 033平面と近傍参照
- 04属性の確率予測
- 05圧縮した場面データ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TC-GSは、3D Gaussian Splatting（3DGS）で作った場面を小さく保存する手法である。3DGSは色・形・不透明度を持つ多数の小さな3D要素で場面を表し、撮影していない視点の画像も描ける。
広い場面では要素が増え、保存や転送の負担が大きくなる。要素の配置は規則的な格子ではないため、近い場所にある要素の共通点を見つけ、属性の記録量を減らすことが課題となる。
手法
TC-GSは、複数のガウスを生成する基準点「アンカー」をScaffold-GSの方法で学習する。各アンカーの3D座標をxy・yz・xzの3平面に投影し、その位置の特徴を読み出す。さらにKNN（近い点を探す方法）で周囲のアンカーを参照し、位置情報と合わせて属性値が現れる確率を予測する。
アンカーの増加が止まってから量子化を加える。量子化は値を有限の候補にそろえる処理で、予測した確率に基づくエントロピー符号化によって属性を短いデータ列にする。3平面は縮小した特徴と復元用の処理を保存し、描画への寄与が小さい要素はマスクで除く。学習には、画像の大まかな成分から細部へ重みを移すウェーブレット損失も用いる。
新規性
TC-GSは、3平面に蓄えた特徴をアンカー属性そのものの代わりにせず、属性値の確率分布を予測する手掛かりに使う。近いアンカーの特徴と位置情報も予測に加え、圧縮時の符号量を抑える。
著者らは、3平面の特徴で属性を直接置き換える試みでは学習が不安定になり、画質も低下したと報告する。提案法は元の属性を学習しながら、その分布を3平面から推定する。
従来手法との違い
比較対象の3DGSは多数のガウスの属性を保持し、Scaffold-GSはアンカーを基点にガウスの属性を生成する。TC-GSはScaffold-GSを基に、アンカー間の空間的な関係を属性の圧縮へ利用する。
表IのSynthetic-NeRFでは保存サイズが3DGSの68.46 MB、Scaffold-GSの19.36 MB、TC-GSの1.33 MBだった。一方、PSNRは順に33.80、33.41、31.28であり、この条件ではTC-GSの画質指標が下がった。
実験結果
著者らはSynthetic-NeRF、Tanks & Temples、DeepBlendingで、保存サイズと画像品質のPSNR・SSIM・LPIPSを比較した。表IのTanks & TemplesではTC-GSが7.66 MB、PSNR 23.96、SSIM 0.843、LPIPS 0.115。Scaffold-GSは86.50 MB、23.96、0.853、0.177だった。
Synthetic-NeRFではTC-GSが1.33 MB、PSNR 31.28、Scaffold-GSが19.36 MB、33.41だった。DeepBlendingのLPIPSはTC-GSが0.121、Scaffold-GSが0.254である。これらは掲載されたデータセットでの報告値であり、建設現場の撮影条件で得られる値を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建設現場の一区画を複数視点のカメラ画像から3D記録にし、離れた担当者が指定視点の画像を確認する。入力には撮影画像と、撮影位置を求めるための重なりのある画像群が必要で、出力は圧縮した場面データと再描画画像とする。
場面ごとに位置付きの点群とアンカー表現を作り、TC-GSで圧縮する。物体種別のラベルや専用センサーはこの案では使わない。現場特有の細い部材については、別に確保した確認用画像と照合して適用可否を判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一区画を重なりのある複数視点からカメラで撮影し、学習用と確認用の画像を分ける。画像から撮影位置と初期の3D点群を求め、場面ごとにアンカーを学習する。物体種別のラベルや追加の専用センサーは設けない。
同じ学習画像でScaffold-GSとTC-GSを作り、確認用視点のPSNR・SSIM・LPIPS、保存サイズ、学習・復号時間を比べる。現場に合わせた再学習を行い、細い部材の見え方も元画像と並べて確認する。許容する画質と待ち時間は測定前に決める。
限界と課題
著者らは追加モデルによる学習時間の増加と、近傍探索による描画速度の低下を限界として挙げる。Tanks & Templesの「train」ではScaffold-GSが25分、TC-GSが45分で、符号化と復号には約29秒を要した。本文には学習時間を約1.88倍とも記すが、示された時間の比は1.8倍で一致しない。
著者らは圧縮と量子化が描画品質に影響すると述べる。編集上の検証事項は、現場の細い部材や輪郭の再現、画像群から得る位置情報の精度、保存量の削減と学習・復号・描画に要する時間の釣り合いである。
出典
元のタイトル・要旨を確認する（英語）
TC-GS: Tri-plane based compression for 3D Gaussian Splatting
Recently, 3D Gaussian Splatting (3DGS) has emerged as a prominent framework for novel view synthesis, providing high fidelity and rapid rendering speed. However, the substantial data volume of 3DGS and its attributes impede its practical utility, requiring compression techniques for reducing memory cost. Nevertheless, the unorganized shape of 3DGS leads to difficulties in compression. To formulate unstructured attributes into normative distribution, we propose a well-structured tri-plane to encode Gaussian attributes, leveraging the distribution of attributes for compression. To exploit the correlations among adjacent Gaussians, K-Nearest Neighbors (KNN) is used when decoding Gaussian distribution from the Tri-plane. We also introduce Gaussian position information as a prior of the position-sensitive decoder. Additionally, we incorporate an adaptive wavelet loss, aiming to focus on the high-frequency details as iterations increase. Our approach has achieved results that are comparable to or surpass that of SOTA 3D Gaussians Splatting compression work in extensive experiments across multiple datasets. The codes are released at https://github.com/timwang2001/TC-GS.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01