アーカイブ / VLM / Robotics
歩行者と障害物を見て六択の進路を判断する画像・理由付きデータ集
MUSON
MUSONの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The MUSON dataset construction pipeline. MUSON covers diverse real-world scenes across indoor and outdoor environments with varying crowd densities. Continuous navigation behaviors are discretized into six egocentric action categories with a rational distribution that preserves safety-critical corner cases to mitigate long-tail issues. Each sample is annotated using a structured five-step CoT, followed by a Human–AI–Human verification process to ensure annotation consistency and quality. MUSON supports multiple downstream tasks, including socially-compliant action planning, socially-aligned CoT reasoning, social-context scene perception, and socially-grounded navigation explanation.
概要
- MUSONは一人称画像に、周囲の把握から行動の説明まで五段階の注釈を付ける。
- 本文は800事例と四つのVLMによる評価を報告し、Qwen2.5-VL-3Bの正解率は0.8625だった。
- 別記の要旨と本文で事例数、評価モデル、結果が食い違うため、利用前に対応する版の確認が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MUSONの仕組み
- 01一人称画像
- 02周囲の把握
- 03動きの予測
- 04制約を踏まえた判断
- 05六択行動と説明
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MUSONは、人の近くを移動するときの短期的な進路判断を学ぶためのデータ集である。目的地までの道筋が決まっていても、目の前の歩行者を待つか、よけるかは、その場の状況で決める必要がある。
画像と言葉を一緒に扱う視覚言語モデル（VLM）に学ばせるには、見えた状況と選ぶ行動を対応させた事例が要る。前進ばかりのデータでは、停止や方向転換を学ぶ事例が少なくなる。
手法
MUSONは既存の一人称視点データMuSoHuから800枚を選び、各画像に「知覚、予測、推論、行動、説明」の注釈を付ける。この順に判断過程を言葉で示す形式をCoTと呼ぶ。例えば左前方に歩行者がいる画像なら、その位置を記し、動きを予測し、通路の制約や譲る必要を考えて行動を選ぶ。
行動は前進、左前進、右前進、停止、左旋回、右旋回の六つ。二人が各事例を独立に注釈し、学習済みのTinyLLaVAが内容の食い違いを点検する。印が付いた事例や注釈者間で意見が割れた事例は、専門家が最終確認すると本文は説明する。
新規性
MUSONの特徴は、一人称画像ごとに、観察、動きの予測、判断理由、行動、説明を同じ順序で記録し、歩行者だけでなく壁などの固定された制約も扱う点にある。
行動を六択に統一し、左前進と右前進を各118件、左旋回と右旋回を各32件にそろえた。前進は453件残し、停止や旋回の事例も収録する設計である。
従来手法との違い
著者らが比較対象とするSNEIは、325件の五往復の対話からなり、前進と停止が行動の約78.46％を占める。著者らは、推論、行動、説明の間に不一致もあると指摘している。
MUSONは800枚の画像事例に六択行動と五段階の注釈を付ける。MoE-LLaVAの比較では、理由付き学習による正解率はMUSONで0.5375から0.5813へ上がり、SNEIで0.5833から0.4667へ下がった。事例の単位も異なり、実走行での優劣を示す比較ではない。
実験結果
本文ではMUSONで四つの小規模VLMを評価した。指標は行動の正解率、各行動の成績を同じ重みで平均するMacro-F1など。CRは、正解が停止か旋回なのに前進系の行動を選んだ件数を評価事例の総数で割る指標で、実際の衝突回数ではない。
著者らの表では、Qwen2.5-VL-3Bの正解率は0.8625、Macro-F1は0.7706、CRは0.0688だった。表には説明文と人の注釈の意味の近さも示される。評価用データの分割方法は確認できた本文の範囲では明らかでなく、別記の要旨には異なる件数・モデル・結果がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：大学構内の通路で、案内ロボットの進路判断を担当者が確認する画面を試す。前方カメラの画像を入力し、六択の候補行動と、歩行者や障害物をどう見て判断したかの説明を出力する。
対象通路で撮影した一人称画像、歩行者と固定障害物の位置を示す記述、人が選んだ行動ラベルが必要になる。通行ルールに合わせて注釈を作り、担当者が画像と出力を照合する。現場での有効性は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象通路の前方カメラ画像を集め、歩行者と固定障害物の位置、六択の行動、判断理由を人が記録する。現場の通行ルールに合わせて注釈を調整し、画像単位の小規模な検証から始める。
同じ評価画像で、行動ラベルだけを使う設定と理由も使う設定を比較する。行動別の正解率とMacro-F1に加え、正解が停止か旋回なのに前進系を選ぶ件数を全評価件数で割って確認する。担当者による説明の点検と、実走行時の安全確認は別に行う。
限界と課題
著者らは、限られたデータでどの注釈が学習に効くかの調査と、動的な環境で連続して判断するための手法を今後の課題に挙げる。本文の評価は単一画像からの短期判断であり、実走行中の衝突や安全性を測った結果ではない。
編集上の検証事項：別記の要旨は10,110件、10モデル、Qwen3-VL-8Bを報告する一方、本文は800件、4モデル、Qwen2.5-VL-3Bを報告する。この食い違いが解消するまで、件数や最高成績を版をまたいで結び付けられない。
出典
元のタイトル・要旨を確認する（英語）
MUSON: A Reasoning-oriented Multimodal Dataset for Socially Compliant Navigation in Urban Environments
Socially compliant navigation requires structured reasoning about dynamic pedestrians and physical constraints to ensure safe and interpretable decisions. Vision-language models (VLMs) provide a promising foundation for this task because they can integrate visual observations with language-based social knowledge. However, existing untuned VLMs still struggle to reliably understand fine-grained social norms, making task-specific fine-tuning essential. At the same time, no large-scale egocentric dataset is available this task. To address these challenges, we introduce MUSON, a multimodal dataset for short-horizon social navigation containing 10,110 egocentric samples collected across diverse indoor and outdoor social scenes. MUSON adopts a structured five-step chain-of-thought annotation framework comprising perception, prediction, reasoning, action, and explanation. It explicitly models static physical constraints and employs a standardized six-action decision space. Compared with existing social-navigation datasets, MUSON provides consistent annotations for reasoning, actions, and explanations. We evaluate ten representative small-to-medium VLMs on MUSON. Qwen3-VL-8B achieves the strongest decision-level performance, attaining the highest action accuracy of 0.7765 and Macro-F1 score of 0.7490, as well as the lowest collision rate of 0.0609. These results demonstrate that MUSON is an effective and reusable benchmark for advancing socially compliant navigation. The dataset is publicly available at https://github.com/MUSON-dataset/MUSON/releases/tag/v1.0.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01