アーカイブ / Robotics / Computer Vision
カメラとLiDARの情報を2次元ガウスに集め、自車の走行軌道を予測する
GaussianFusion
GaussianFusionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Pipelines of different multi-sensor fusion methods.
概要
- カメラ画像とLiDAR点群を2次元ガウス表現に統合し、候補軌道を段階的に修正する。
- 著者らの報告では、NAVSIM navtestでEPDMS 85.0、Bench2DriveでCARLA Driving Score 79.4だった。
- 適用には自車の正解軌道と意味地図のラベルが必要で、場面別性能と処理負荷を同条件で検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、GaussianFusionの仕組み
- 01カメラ画像とLiDAR点群
- 022次元ガウスを更新
- 03候補軌道を段階修正
- 04自車の予測軌道
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
GaussianFusionは、カメラ画像とLiDARの点群から、自車が今後通る軌道を予測する手法だ。LiDARはレーザーで測った周囲の位置を点の集まりとして記録するセンサーである。センサー入力から走行計画までを一体で学習する自動運転を対象とする。
複数センサーを合わせるには、周囲の位置関係を扱いながら処理負荷も抑える必要がある。著者らは、特徴を平らに並べる方法では位置関係を明示しにくく、上空視点の密な格子を使う方法では計算とメモリの負荷が大きいと指摘する。
手法
画像と点群から特徴を取り出し、走行場面に置いた複数の2次元ガウスへ集める。ここでのガウスは、位置、広がり、向き、場面の種類を表す値と、学習で得る特徴を持つ情報の単位だ。各ガウスの近くに対応する画像・点群の特徴を取り込む枝が地図の構成に関わり、別の枝が場面全体から走行計画の手掛かりを集める。
更新したガウスから上空視点の意味地図を構成し、自車軌道を予測する。軌道予測では、学習データの軌道分布から作った候補を出発点に、候補上の各点に近いガウス、続いて全体のガウスを参照して座標を修正する。その出力を次の修正段階に渡し、将来の自車位置を並べた軌道を得る。
新規性
著者らの提案は、複数センサーを統合する中間表現に2次元ガウスを使い、場面の再構成に使う局所的な特徴と、走行計画に使う広域的な特徴を別の枝で更新する点にある。2次元ガウスの学習には、上空視点の意味地図を利用する。
さらに、候補軌道の各点に近いガウスを参照した後、場面全体のガウスも参照して軌道を修正する。この処理を繰り返し、統合した場面情報を軌道予測につなげる。
従来手法との違い
従来法には、画像や点群の特徴を平らに並べて情報を交換する方式と、上空視点の密な格子へ投影して統合する方式がある。著者らは、前者では位置関係を明示しにくく、後者では計算量とメモリ使用量が増えると説明する。
GaussianFusionは、場面に配置したガウスを情報の受け皿にする。論文中の比較では、NAVSIMのEPDMSでDiffusionDriveの84.0、ARTEMISの83.1に対し85.0だった。ただし、これらの方式との推論時間やメモリ使用量の差は、確認できた本文の範囲では数値で示されていない。
実験結果
著者らはNAVSIMのnavtest分割で、ResNet-34を特徴抽出器に使い、EPDMS 85.0を報告する。EPDMSは走行計画用指標PDMSの拡張版で、表では高い値が良いことを示す。同じ表のDiffusionDriveは84.0、ARTEMISは83.1だった。GaussianFusionの学習にはNAVSIMのtrain分割を使った。
閉ループ評価、すなわち予測した走行が次の場面に影響する評価のBench2Driveでは、220経路・44種類の対話的場面を対象にCARLA Driving Score 79.4を報告する。同じ特徴抽出器と学習データ設定のTF++実装は77.2。追い越しは66.7対44.4、合流は40.0対46.3だった。指標の詳細は付録を参照する構成で、確認できた本文の範囲では追試に必要な全条件を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：記録済みの走行場面を入力し、次の自車軌道を提示する社内評価ツールを試す。前方・左前方・右前方のカメラ画像、LiDAR点群、センサー間の位置関係をそろえ、将来の自車位置を座標列として出力する。
適用先の走行データに、自車の正解軌道と上空視点の意味地図ラベルを対応付けて学習する。センサーの時刻と座標を合わせ、道路や周辺車両との関係を担当者が点検する。提案軌道が実車で安全に走れるかは、別途検証が必要である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：前方・左前方・右前方のカメラ画像、LiDAR点群、センサー間の位置関係、自車の正解軌道、上空視点の意味地図ラベルをそろえた記録済み走行場面で試す。画像と点群の時刻・座標を合わせ、対象地域の地図ラベルに合わせて学習し、評価場面を事前に固定する。
比較対象には、同じ入力と評価場面を使う既存の軌道予測法を置く。予測軌道と正解軌道のずれ、道路内に収まる割合、合流・追い越し別の結果、推論時間とメモリ使用量を記録する。判定基準を先に決め、センサー欠損時の変化も分けて確かめる。
限界と課題
著者らは設計上の課題として、詳細な3次元場面ラベルの不足、ガウス表現の走行計画への適性、軌道生成に合う構成の必要性を挙げる。提案法は2次元表現と意味地図による学習でこれらに対応するが、課題の解消を全条件で実証したという記述ではない。
編集上の検証事項は、悪天候、センサー欠損、別地域での性能と、推論時間・メモリ使用量である。Bench2Driveでは合流と緊急ブレーキの項目が比較対象のTF++実装を下回る。また、ガウスの初期化は要旨では「場面全体に一様」、手法本文では「ランダムに生成」と記され、具体的な配置方法は確認が必要だ。
出典
元のタイトル・要旨を確認する（英語）
GaussianFusion: Gaussian-Based Multi-Sensor Fusion for End-to-End Autonomous Driving
Multi-sensor fusion is crucial for improving the performance and robustness of end-to-end autonomous driving systems. Existing methods predominantly adopt either attention-based flatten fusion or bird's eye view fusion through geometric transformations. However, these approaches often suffer from limited interpretability or dense computational overhead. In this paper, we introduce GaussianFusion, a Gaussian-based multi-sensor fusion framework for end-to-end autonomous driving. Our method employs intuitive and compact Gaussian representations as intermediate carriers to aggregate information from diverse sensors. Specifically, we initialize a set of 2D Gaussians uniformly across the driving scene, where each Gaussian is parameterized by physical attributes and equipped with explicit and implicit features. These Gaussians are progressively refined by integrating multi-modal features. The explicit features capture rich semantic and spatial information about the traffic scene, while the implicit features provide complementary cues beneficial for trajectory planning. To fully exploit rich spatial and semantic information in Gaussians, we design a cascade planning head that iteratively refines trajectory predictions through interactions with Gaussians. Extensive experiments on the NAVSIM and Bench2Drive benchmarks demonstrate the effectiveness and robustness of the proposed GaussianFusion framework. The source code will be released at https://github.com/Say2L/GaussianFusion.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01