アーカイブ / LLM / RAG / Computer Vision / Robotics
自然文から車載データの記録条件を作る：DSLによる選択的収集
LLM-Driven Multimodal Data Triggers
LLM-Driven Multimodal Data Triggersの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Proposed framework for DSL-based trigger generation. Given a data query, available tools, and system information, the framework generates a structured trigger configuration, which is deployed to the vehicle trigger architecture for selective data collection.
概要
- 自然文の収集条件をLLMがDSLに基づく設定へ変換し、車載データを条件付きで保存する。
- 35枚のラベル付き画像を用いた評価では、DSL方式の生成結果は直接コード生成より高い類似度を示した。
- DSL方式の再現率は0.66で比較対象を下回り、用途ごとの取り逃し確認が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM-Driven Multimodal Data Triggersの仕組み
- 01収集条件の自然文
- 02JSON設定の生成
- 03車載データの判定
- 04該当データの保存
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、車載センサーのデータを必要な場面で記録する条件を作る。カメラやLiDAR（レーザー光で周囲までの距離を測るセンサー）などの情報を常時保存すると、保存・転送する量が増え、目的に合う記録を後から探す作業も生じる。
担当者は「どんな場面を集めたいか」を自然文で説明できても、実際の記録にはセンサーの信号名と判定処理を結び付ける必要がある。収集目的が変わるたびに条件を手作業で実装する負担が課題になる。
手法
利用者の収集条件と、利用可能な処理、車両システムの情報を大規模言語モデル（LLM）に渡す。モデルは条件を述語、つまり「車を検出したか」のように真偽を返す小さな判定へ分け、ドメイン特化言語（DSL）の規則に基づくJSON設定を作る。車両固有の信号を参照するため、関連文書を検索してモデルへ示す仕組みも述べられている。
車両側では必要な信号を取り出して一時保存し、各述語を組み合わせた条件を評価する。例えば「車が5台を超える画像」なら、物体検出の結果を数え、しきい値と比べる。条件が成立すると該当時点のデータを保存する。判定は関連データが更新され、設定された評価頻度を満たしたときに実行される。
新規性
著者らの提案は、自然文で述べた収集目的を、構文を定めたドメイン特化言語（DSL）に基づくトリガー設定へ変換する点にある。画像内の物体と車両信号のように異なる情報を、真偽を返す条件として組み合わせられる。
生成した条件はJSON形式で実行系に渡し、個別に追加・変更できる構成とする。記録したい場面の説明から、車両側で評価する条件までをつなぐことが中心的な提案である。
従来手法との違い
評価では、同じgpt-oss-120bと同じプロンプトのひな型を使うDSL設定生成と、トリガーのコードを直接生成する方法を比較した。両方式は物体検出などの基本的な認識処理を共有する。画像ごとに質問へ真偽で答える視覚言語モデルも、検出性能と実行時間の比較に加えた。
著者らの報告では、DSL方式は直接コード生成より生成結果の類似度が高く、実行時間も比較対象中で最短だった。一方、再現率は両比較対象より低い。これらは評価に使った画像と収集条件での結果である。
実験結果
著者らはBDD100kから選んだ35枚の画像に手作業で正解ラベルを付け、物体の有無、条件付きの検索、関係や文脈を要する検索を評価した。DSL方式と直接コード生成には同じgpt-oss-120bを使い、生成した条件を各画像に実行して正解と比較した。生成の一貫性は、条件ごとに乱数を変えて2回生成した結果の類似度で調べた。
報告値では、視覚言語モデルのF1値は0.67、再現率はDSL方式0.66、視覚言語モデル0.75、直接コード生成0.76だった。SequenceMatcher類似度はDSL方式0.966±0.067、直接コード生成0.392±0.225。実行時間は少なくとも1件の真陽性を出した設定に限って測り、DSL方式が最短と報告する。確認できた本文の範囲では具体的な時間は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：車載カメラで「車の前方に歩行者が見える場面」を選んで保存する。入力は収集条件の自然文、カメラ画像、歩行者の検出結果と位置であり、出力は条件が成立した時点の画像と発火記録とする。画像を記録するためのカメラを使い、追加学習用データはこの試行の前提にしない。
担当者はカメラの入力名を実行系に対応付け、検出結果から「前方」を判定する範囲を定める。確認用には歩行者の有無と位置を人手で付けた画像ラベルが必要になる。この用途で収集量や見逃しが改善するかは未検証である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず一つの収集条件を選び、同じ記録済みの車載画像について、常時保存する場合と生成したトリガーで選ぶ場合を比べる。必要なセンサーは対象場面を写すカメラで、入力名、利用する検出結果、判定対象の範囲を揃える。追加学習用データは前提にせず、正解確認用に対象の有無と位置を人手で付けた画像を用意する。
自然文から設定を作り、参照する入力と条件を担当者が確認してから実行する。保存件数、正解場面の取り逃し、誤って保存した件数、判定時間を測る。対象車両を変える際は、センサーと信号の対応、検出処理、ラベルの基準を合わせ直す。
限界と課題
著者らが報告した制約は、DSL方式の再現率0.66が視覚言語モデルの0.75、直接コード生成の0.76を下回ったことだ。車両固有の情報を取り込む仕組みの全面的な統合と、知識の表現も継続中の研究課題としている。
編集上の検証事項は、別の車両で信号名と条件が正しく対応するか、複数のトリガーを同時に動かした際の負荷、保存量、取り逃しである。確認できた本文の範囲では実行時間の具体値や長期運用時の収集量は分からず、実車運用での効果までは判断できない。
出典
元のタイトル・要旨を確認する（英語）
A Domain-Specific Language for LLM-Driven Trigger Generation in Multimodal Data Collection
Data-driven systems depend on task-relevant data, yet data collection pipelines remain passive and indiscriminate. Continuous logging of multimodal sensor streams incurs high storage costs and captures irrelevant data. This paper proposes a declarative framework for intent-driven, on-device data collection that enables selective collection of multimodal sensor data based on high-level user requests. The framework combines natural language interaction with a formally specified domain-specific language (DSL). Large language models translate user-defined requirements into verifiable and composable DSL programs that define conditional triggers across heterogeneous sensors, including cameras, LiDAR, and system telemetry. Empirical evaluation on vehicular and robotic perception tasks shows that the DSL-based approach achieves higher generation consistency and lower execution latency than unconstrained code generation while maintaining comparable detection performance. The structured abstraction supports modular trigger composition and concurrent deployment on resource-constrained edge platforms. This approach replaces passive logging with a verifiable, intent-driven mechanism for multimodal data collection in real-time systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01