アーカイブ / Computer Vision
LiDARの3D物体検出で、精度が落ちやすい層だけFP16に残す
Mixed Precision PointPillars
Mixed Precision PointPillarsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overview of PointPillars architectures and how to decide the datatype of a layer based on its sensitivity.
概要
- 層を一つずつINT8に変えて検出精度への影響を測り、感度の高い層をFP16に残す。
- KITTIのTensorRT変換後のmAP40は、FP32が64.64、5層をFP16に残したPTQが63.67だった。
- 5層構成の実行時間はJetson Orinで20.82ミリ秒、RTX 4070Tiで1.987ミリ秒。導入先でも精度と処理時間の確認が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Mixed Precision PointPillarsの仕組み
- 01FP32モデルと点群
- 02単層INT8評価
- 03FP16候補選択
- 04PTQ・QAT調整
- 053D検出枠
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PointPillarsは、LiDARの点群から物体の位置と種類を3Dで推定するモデルである。点群を柱状に分けて2D画像に似た表現へ変えるため、車両周辺の認識に使う際は検出精度と処理時間の両方が問題になる。
計算に使う32ビット浮動小数点のFP32を一律に8ビット整数のINT8へ変えると、実行時間を短くできる可能性がある。ただし、点群の値の幅が広く、極端に大きな値も含まれるため、検出精度が落ちうる。
手法
学習済みFP32モデルの層を一つずつINT8に変え、検証データ上のAP40を測る。AP40は、検出精度を40の再現率水準で集計する指標である。値が低くなった層ほど変換に敏感とみなし、感度の高い層から順にFP16へ残す候補を作る。例えば柱状データを処理する先頭層をFP16にし、ほかをINT8にする。
候補をPTQかQATで仕上げる。PTQは学習後に入力例からINT8への変換幅を決める方法で、著者らは学習データから選んだ6フレームを較正に使う。QATは変換の影響を模擬しながら再学習する方法だ。完成したモデルは点群を柱状にまとめ、2D表現を経て3D検出枠を出す。
新規性
著者らは、PointPillarsの層を一つずつINT8に変えて検出精度を測り、影響の大きい層を特定する。特定した層を感度順にFP16へ残す候補を作り、検出精度で選ぶ点が提案の中心だ。
さらに、学習後量子化では較正に使う点群を少数に絞る。極端な値を観測する機会を減らし、数値変換の刻み幅が広がる影響を抑えるという設計である。
従来手法との違い
比較の基準は、全層FP32のモデルと、全層INT8のPTQ・QATモデルである。提案法は多くの層をINT8にし、検出精度への影響が大きい層だけFP16に残す。層の候補は検証データ上の精度で選び、実行時間は別に測る。
著者らは、TensorRTが実行時間を重視して層の精度を選ぶ方法との違いも述べる。FP16層を増やすほど常に速くなるわけではなく、提示された測定では層数に応じて実行時間が変わった。
実験結果
著者らはKITTIの3D物体検出データで車・自転車・歩行者を評価した。TensorRT変換後、中程度の難易度で3種類のAP40を平均したmAP40は、FP32が64.64、全層INT8のPTQが13.12、感度の高い5層をFP16に残したPTQが63.67、同じ層構成のQATが63.96だった。
著者らの実行時間測定では、Jetson OrinとRTX 4070TiでFP32がそれぞれ32.91、3.741ミリ秒、5層をFP16に残す構成が20.82、1.987ミリ秒だった。最初の1層だけをFP16にした構成は13.99、1.464ミリ秒で、精度表のPTQでのmAP40は61.43だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：生活道路の交通状況を確認するため、車載LiDARが取得した点群を入力し、車・自転車・歩行者の種類と3D検出枠を画面に表示する。LiDARは周囲までの距離を測り、点の集まりを作るセンサーである。
対象地域の点群と、物体の種類・3D枠を付けたデータを学習・検証に用意する。既存モデルを地域のデータに合わせ、層選択と較正を行う。表示に使える精度と処理時間になるかは、その地域の点群で確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象地域で車載LiDARの点群を集め、車・自転車・歩行者の種類と3D枠を付け、学習用と検証用に分ける。既存のPointPillarsのFP32モデルを基準に、全層INT8のPTQと、感度順にFP16層を増やすPTQ候補を同じ検証データで比べる。
学習側の点群から較正用フレームを選び、選び直した場合の結果も測る。QATを試す場合はラベル付き学習データで再学習する。各候補のクラス別AP40、mAP40、実行時間、TensorRTエンジンのファイルサイズを記録し、用途に必要な水準を満たすか判断する。
限界と課題
著者らは、扱う数値形式が主にFP32・FP16・INT8で、対象モデルがPointPillarsであると記す。INT4やFP8、ほかの3D物体検出モデルへの拡張は今後の課題としている。
編集上の検証事項は、較正用の6フレームを替えた際の精度のばらつきと、運用中に極端な値が現れる場合の影響である。また、本文の要旨には最大2.538倍、表と結論には最大2.35倍という速度の記述差がある。表Vのファイルサイズ比較に使う層の組み合わせも、表IIIの精度比較とは一部異なる。
出典
元のタイトル・要旨を確認する（英語）
Mixed Precision PointPillars for Efficient 3D Object Detection with TensorRT
LIDAR 3D object detection is one of the important tasks for autonomous vehicles. Ensuring that this task operates in real-time is crucial. Toward this, model quantization can be used to accelerate the runtime. However, directly applying model quantization often leads to performance degradation due to LIDAR's wide numerical distributions and extreme outliers. To address the wide numerical distribution, we proposed a mixed precision framework designed for PointPillars. Our framework first searches for sensitive layers with post-training quantization (PTQ) by quantizing one layer at a time to 8-bit integer (INT8) and evaluating each model for average precision (AP). The top-k most sensitive layers are assigned as floating point (FP). Combinations of these layers are greedily searched to produce candidate mixed precision models, which are finalized with either PTQ or quantization-aware training (QAT). Furthermore, to handle outliers, we observe that using a very small number of calibration data reduces the likelihood of encountering outliers, thereby improving PTQ performance. Our methods provides mixed precision models without training in the PTQ pipeline, while our QAT pipeline achieves the performance competitive to FP models. With TensorRT deployment, our mixed precision models offer less latency by up to 2.538 times compared to FP32 models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01