アーカイブ / VLM / Computer Vision
車載画像から対象物を選び、状態と推定距離を加えて運転場面の質問に答える
CPS Team Driving with Language System
CPS Team Driving with Language Systemの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Diagram of six images from a sample frame, captured by cameras mounted on the vehicle in six directions: front, front left, front right, back, back left, and back right. Key objects are marked with IDs and 2D bounding boxes.
概要
- DriveLM-nuScenesの六方向画像と質問を使い、対象物の説明・状態・推定距離を加えて回答する。
- 著者らは検証セットで統合結果の最終スコア0.7799、検証用リーダーボード1位を報告した。
- 途中の推論を促す方法の効果は要旨と本文で記述が食い違い、質問形式別の再確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CPS Team Driving with Language Systemの仕組み
- 01六方向画像と質問
- 02対象画像を選択
- 03状態と距離を文章化
- 04回答を統合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、車の周囲を写した複数の画像から、運転場面についての質問に答える課題を扱う。「前方の車は動いているか」と答えるには、質問が指す車を該当する画像で見つけ、その状態を読み取る必要がある。
CVPR 2024のDriving with Language課題では、複数視点の画像を使い、周囲の認識、動きの予測、計画、行動に関する質問に答える。回答に使う視点と対象物を特定できることは、結果を人が確かめる際にも役立つ。
手法
画像と文章を扱う視覚言語モデル（VLM）としてLLaVAを使う。訓練時は質問中の対象物タグに対応する画像を選び、対象物の説明を質問の前に付ける。方向だけが書かれた質問にはその方向の画像を選び、どちらもなければ前方画像を使う。対象物の識別を学ばせる質問応答も訓練データから作る。
距離の手がかりには、画像から奥行きを推定するDepth Anythingを使う。訓練時は対象物の枠内の推定値から75パーセンタイル値を選び、「近い」「遠い」などの説明に変える。回答時は対象物タグの座標を中心とする11×11の領域で距離を推定し、別の問い合わせで得た対象物の説明・状態とともに質問へ加える。モデルの回答は質問形式に応じて統合する。
新規性
著者らの構成は、質問内の対象物タグや方向から入力画像を選び、対象物の説明・状態と推定距離を文章にして視覚言語モデルへ渡す。訓練時には、対象物を識別するための質問応答も追加生成した。
回答段階では複数のモデルの出力を質問形式に応じて統合する。画像選択、距離情報、追加データ、回答統合を組み合わせた報告だが、各要素の寄与を個別に示す比較値はない。
従来手法との違い
同じ検証セットで、LLaVA-1.5-7BにLoRAを適用したモデルの最終スコアは0.7329、DoRAでは0.7177だった。LLaVA-NeXT-7BとLoRAの組み合わせは0.7710、複数モデルの回答を統合した結果は0.7799と報告されている。
LoRAとDoRAは、モデル全体ではなく一部のパラメータを調整する学習方法である。これらは構成単位の比較であり、推定距離や質問文への情報追加だけによる改善幅は読み取れない。
実験結果
著者らはDriveLM-nuScenesのみで訓練し、696場面の4,072フレーム、計377,983問を用いた。検証セットは149場面の799フレーム、15,480問で、各フレームに六方向の画像がある。質問には複数選択式、「はい・いいえ」式、対話形式が含まれる。
著者らの統合結果は検証セットでAccuracyが0.7861、最終スコアが0.7799で、検証用リーダーボードの1位と報告している。最終スコアは質問ごとに異なる評価値の重み付き合計である。別の道路映像や実際の運転判断での成績は、この結果からは分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：記録済みの車載映像を使う運転研修で、「前方の車は動いているか」などの質問と回答を教材担当者に提示する。入力は同じ時点の六方向画像と質問、出力は回答と、確認対象となる車の説明・状態・推定距離とする。
試すには六方向の画像に加え、質問と正答、対象物のタグ、画像上の枠、状態ラベルが必要になる。研修映像にこれらがなければ人手で整備し、撮影条件に合わせて画像選択とモデル調整を検討する。効果は未検証の応用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：記録済みの六方向の車載画像と正答付きの質問を少数用意する。対象物のタグ、画像上の枠、状態ラベルを整え、距離の確認用にも対象物の位置情報を残す。撮影条件に合わせて画像選択、質問文への情報追加、必要なモデル調整を行う。
比較基準は、論文にあるLLaVA-NeXT-7BとLoRAの単独構成とする。同じ質問群で提案構成の回答と比べ、正答率、質問形式別の誤答、対象物の取り違え、距離表現のずれを記録する。学習用と確認用の場面を分け、結果は研修教材への利用可否に限って判断する。
限界と課題
著者らは、複数選択式と「はい・いいえ」式で途中の推論を促す質問文を試したところ、評価では性能が下がったと記している。一方、要旨は同じ方法で精度を改善したと述べており、記述が食い違う。
編集上の検証事項は、推定距離が誤った場合の回答、異なる撮影条件での成績、質問形式別の誤答である。回答統合についても、形式ごとのモデル選択や「評価スコアが最も高い回答」の選び方を、運用時に再現できる手順として確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
The System Description of CPS Team for Track on Driving with Language of CVPR 2024 Autonomous Grand Challenge
This report outlines our approach using vision language model systems for the Driving with Language track of the CVPR 2024 Autonomous Grand Challenge. We have exclusively utilized the DriveLM-nuScenes dataset for training our models. Our systems are built on the LLaVA models, which we enhanced through fine-tuning with the LoRA and DoRA methods. Additionally, we have integrated depth information from open-source depth estimation models to enrich the training and inference processes. For inference, particularly with multiple-choice and yes/no questions, we adopted a Chain-of-Thought reasoning approach to improve the accuracy of the results. This comprehensive methodology enabled us to achieve a top score of 0.7799 on the validation set leaderboard, ranking 1st on the leaderboard.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01