アーカイブ / VLM / Computer Vision
SNSの道路動画と投稿文から質問を作り、映像AIの道路理解を測るRoadSocial
RoadSocial
RoadSocialの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Diverse Video Attributes in the RoadSocial Dataset: The total count of unique tags for each attribute is shown in circled boxes , alongside word clouds highlighting these values. For each attribute, we display examples with 2-3 keyframes from videos. The figure captures the diversity of road events, environmental conditions, geographical locations, viewpoints, interactions between road entities, and traffic violations. The varied scenarios under each attribute showcase the rich complexity of our dataset.
概要
- SNSの道路動画と投稿文・返信を使い、専門家の確認を経て26万組の質問・正答を作成した。
- 18種類の映像言語モデルを、道路上の出来事の理解や映像と食い違う質問への応答で評価した。
- 著者らの表では、LLaVA-OV-7Bの全課題平均が追加学習前の50.0から追加学習後の69.4になった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RoadSocialの仕組み
- 01道路動画と投稿文
- 02区間ごとの映像説明
- 03質問・正答案の生成
- 04専門家の確認
- 05質問集と動画タグ
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RoadSocialは、道路動画に何が映るかを問う問題集を作り、映像を読むAIの道路理解を測る。事故だけでなく、危険な追い越しや事故寸前の行動などを捉えるには、幅広い出来事を含む評価問題が必要になる。
著者らによると、従来のデータは地域や車載カメラの視点に偏りやすい。映像にない出来事を質問で示されたときに、AIがその前提を退けられるかも、道路上の出来事を説明する力とは別に確かめる必要がある。
手法
RoadSocialは、SNSの道路動画と投稿文・返信から、動画を見て答える質問と正答を作るデータセットである。動画を3秒ごとの区間に分け、映像を扱う言語モデルに各区間の説明を書かせる。文章を扱う言語モデルが説明を動画全体の要約にまとめ、整理した投稿文・返信と合わせて質問・正答案を作る。例えば追い越しを映した動画なら、車両の行動を問う質問が対象となる。
次に、氏名や過去の経験など映像だけでは確かめられない情報を除き、質問を課題ごとに分類する。専門家が質問と映像の関連を確認し、採用された正答から動画単位のタグを生成する。別途、道路に無関係な動画へ道路の質問を組み合わせる問題も作り、映像と問いが食い違う場合の応答を調べる。
新規性
RoadSocialは、道路動画の映像情報に投稿文や返信の内容を組み合わせ、専門家の確認を経て質問・正答を作る。著者らは、撮影視点や地理的位置を問う課題を含む12種類の質問課題を設けた。
さらに、起きていない出来事を前提にした質問と、道路に無関係な動画に道路の質問を組み合わせる課題を加えた。映像に根拠のない問いへの応答も評価する構成である。
従来手法との違い
著者らによると、既存の道路動画データには収集地域や車載カメラの視点への偏りがある。RoadSocialはSNS上の動画を集め、監視カメラ、手持ち、ドローンなど、異なる撮影視点から道路上の出来事を扱う。
論文の比較表では、撮影視点の種類はLingo-QAが1、RoadSocialが6とされる。収集方法や質問課題も異なるため、この数値はデータの構成を示すもので、両データで測ったモデル性能の差ではない。
実験結果
著者らは、約1万3200本の動画から26万組の質問・正答と674種類の動画タグを作成したと報告する。RoadSocial-QAは約1万2000本・23万4000組を訓練側、約1200本・2万6000組をテスト側とし、18種類の映像言語モデルをテスト側で評価した。追加学習前の評価では、各モデルに動画フレームと課題別の質問を与えた。
回答評価には、時間区間の特定課題を除いてGPT-3.5 scoreを用い、時間区間には平均mAP@.3:.7を用いた。著者らの表で全課題平均はGPT-4oが69.8、Tarsier-34Bが63.5。LLaVA-OV-7Bは追加学習前が50.0、訓練側での追加学習後が69.4だった。全課題平均には異なる指標の課題が含まれる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：道路管理者が受け取った危険箇所の動画を確認する際、出来事を探す補助に使う。入力は利用を認められた道路動画と投稿者の説明文、出力は「何が、いつ、どの視点で見えたか」への回答候補と該当場面の候補とする。
対象地域の動画と説明文を集め、担当者が質問・正答、撮影視点、該当時間帯のラベルを付けて適応させる。追加センサーは前提とせず、回答候補は担当者が元動画と照合する。実務での有効性は未検証の応用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象地域で利用可能な道路動画と説明文を少量集め、担当者が出来事、撮影視点、該当時間帯を確認して質問・正答のラベルを付ける。入力源は動画と文章とし、追加センサーは前提にしない。現行の目視記録を基準として、同じ動画へのAIの回答候補を担当者が照合する。
適応を試す場合は、確認済みの質問・動画・正答を学習用と評価用に分ける。同じ評価用動画で、適応前後の回答の正しさ、時間帯の特定、誤った前提への応答を測り、確認に要した時間も記録する。結果は地域と撮影視点ごとに分けて確認する。
限界と課題
著者らは、SNSへの依存により、利用が盛んな地域に収集範囲が偏りうると述べる。また評価では、多くのモデルが出来事の時間帯の特定や、無関係な動画への質問に苦戦したと報告している。
編集上の検証事項は、投稿文の誤情報が質問・正答に残る割合と、地域・撮影視点ごとの成績差である。確認できた本文の範囲では、収集対象外の地域での性能や、道路管理者の確認時間が短くなるかは示されていない。
出典
元のタイトル・要旨を確認する（英語）
RoadSocial: A Diverse VideoQA Dataset and Benchmark for Road Event Understanding from Social Video Narratives
We introduce RoadSocial, a large-scale, diverse VideoQA dataset tailored for generic road event understanding from social media narratives. Unlike existing datasets limited by regional bias, viewpoint bias and expert-driven annotations, RoadSocial captures the global complexity of road events with varied geographies, camera viewpoints (CCTV, handheld, drones) and rich social discourse. Our scalable semi-automatic annotation framework leverages Text LLMs and Video LLMs to generate comprehensive question-answer pairs across 12 challenging QA tasks, pushing the boundaries of road event understanding. RoadSocial is derived from social media videos spanning 14M frames and 414K social comments, resulting in a dataset with 13.2K videos, 674 tags and 260K high-quality QA pairs. We evaluate 18 Video LLMs (open-source and proprietary, driving-specific and general-purpose) on our road event understanding benchmark. We also demonstrate RoadSocial's utility in improving road event understanding capabilities of general-purpose Video LLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01