アーカイブ / Computer Vision
屋内の撮影映像をつなぎ、目的地への進行方向を学習する視覚案内
Inside Knowledge
Inside Knowledgeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Dataset location floor plan, with visualization of annotated segments ( left ) and generation of a new path that was not ever fully filmed ( right ).
概要
- 通路と交差点の映像片を接続図に沿って組み合わせ、通して撮影していない経路も学習に使う。
- カメラの連続画像3枚と目的地を表す画像から、8種類の進行方向を予測する。
- 著者らの表2では、生成経路を学習に加えたとき、交差点の正解率は0.52から0.89、引き返す場面では0.49から0.91になった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Inside Knowledgeの仕組み
- 01スマホの連続画像
- 02目的地を画像で指定
- 03画像モデルで分類
- 048種類の進行方向
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
屋内ではGPSを利用しにくく、広い商業施設で初めての目的地へ向かう方向を判断するのは難しい。既存の屋内案内には、地図による現在地の特定、現場のマーカー、Wi-Fiなどの情報を使う方式がある。
この研究は、スマートフォンのカメラ画像と指定した目的地から、次に歩く方向を予測する。著者らは案内時に追加センサー、現場のマーカー、地図への現在地の特定、インターネット接続を要しない構成と説明する。一方、対象施設の映像を集めて学習する準備は必要である。
手法
学習準備では、交差点を点、通路を線とする接続図を作り、各通路と曲がり角の映像片を対応付ける。線の長さを映像のフレーム数として最短経路を選び、映像片を順につなぐ。例えば入口から店舗まで通して撮影していなくても、途中の通路を撮影済みなら学習用経路を作れる。正しい方向のラベルには、画面上の動きを表すオプティカルフローと、単眼画像から推定した奥行きを使う。
案内時は、現在と1秒間隔の過去2枚を合わせた3枚の画像に、目的地を表す白地に黒丸の画像を加える。黒丸の位置は目的地ごとに決める符号で、建物内の実際の座標ではない。畳み込みニューラルネットワークという画像の特徴を読み取るモデルが、前進や旋回など8種類の方向の確率を出す。学習時には、判断に関係する領域を示すGrad-CAMを使い、その領域を隠す方法も試した。
新規性
著者らが提案するのは、交差点と通路の接続関係を使い、別々に撮影した映像片から未撮影の出発地・目的地間の学習用経路を作る方法である。全ての組み合わせを通して歩いて撮影する負担を減らせる。
さらに、誤判定に関係した画像領域を隠すGradMaskと、初期学習で誤った難しい事例を後半に多く与える段階的な学習を組み合わせる。案内時には、利用者の現在地を地図上で特定しない。
従来手法との違い
経路生成の効果は、撮影した経路だけで学習した場合と、映像片を組み合わせた経路も加えた場合で比べている。対象は交差点と引き返す場面であり、表2の数値を一般の歩行場面全体に広げて解釈することはできない。
別の比較では、生成経路を使うモデルを基準に、人の領域を隠すPeopleMask、無作為に隠すRandMask、判断に関係した領域を隠すGradMaskを試した。地図や追加センサーを使う既存方式にも言及するが、同一条件での性能比較は示されていない。
実験結果
著者らは商業施設で撮影した約3時間の映像を使い、学習に使っていない映像片から作った経路を各フレームで評価した。表1の混雑度、経路長、目的地数による6条件の平均では、生成経路を使う基準モデルの正解率は0.80、方向転換を陽性とするF1値は0.61、角度誤差は11.00度だった。GradMaskと段階的な学習の併用では、順に0.86、0.65、8.33度と報告している。
表2では、生成経路なし・ありの正解率が交差点で0.52・0.89、引き返す場面で0.49・0.91だった。著者らはAndroid端末での実地試験にも触れるが、利用者数や到達率の数値は確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：一つの商業施設で、来訪者が登録済みの店舗を選ぶと、スマートフォンのカメラ映像から次の進行方向を画面に示す。入力はカメラ画像と目的地の指定、出力は8種類の方向のうち一つを示す案内であり、歩行中に予測を更新する。
準備には、その施設の全通路と交差点を含む撮影映像、通路の接続関係、目的地ごとの正しい方向ラベルが要る。使用時のセンサーはカメラを想定する。店舗や通路の配置が変われば、接続関係と映像を確認し、ラベルとモデルを更新する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず一つの施設で、全通路と交差点を含むカメラ映像を撮り、通路の接続関係と案内先を整理する。映像から各目的地への正しい方向ラベルを作り、未使用の映像片を評価用に分ける。撮影に必要なセンサーはカメラとし、施設固有の映像と接続関係でモデルを学習させる。
比較基準には、生成経路を使い、追加のマスキングをしないモデルを置く。未使用映像で正解率、方向転換のF1値、角度誤差を測り、混雑時と交差点の結果も分ける。現地では到達と誤案内後の復帰を記録し、通路や店舗の変更後には接続関係、撮影映像、ラベルを更新して再測定する。
限界と課題
著者らは、カメラの近くの人が画像の広い部分を覆う場面を主な誤判定例として報告している。Android端末での実地試験では目的地に到達したと述べるが、多人数での詳しい利用評価、利用者数、到達率の数値は示しておらず、今後の報告を予定している。
編集上の検証事項は、混雑や施設の模様替え、端末の傾きが変わる場面での案内精度である。方向分類の値に加え、誤案内後に復帰できるか、目的地まで着けるかを現地で測る必要がある。通路を網羅する撮影と経路の整理に要する作業量も確認したい。
出典
元のタイトル・要旨を確認する（英語）
Inside Knowledge: Graph-based Path Generation with Explainable Data Augmentation and Curriculum Learning for Visual Indoor Navigation
Indoor navigation is a difficult task, as it generally comes with poor GPS access, forcing solutions to rely on other sources of information. While significant progress continues to be made in this area, deployment to production applications is still lacking, given the complexity and additional requirements of current solutions. Here, we introduce an efficient, real-time and easily deployable deep learning approach, based on visual input only, that can predict the direction towards a target from images captured by a mobile device. Our technical approach, based on a novel graph-based path generation method, combined with explainable data augmentation and curriculum learning, includes contributions that make the process of data collection, annotation and training, as automatic as possible, efficient and robust. On the practical side, we introduce a novel largescale dataset, with video footage inside a relatively large shopping mall, in which each frame is annotated with the correct next direction towards different specific target destinations. Different from current methods, ours relies solely on vision, avoiding the need of special sensors, additional markers placed along the path, knowledge of the scene map or internet access. We also created an easy to use application for Android, which we plan to make publicly available. We make all our data and code available along with visual demos on our project site
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01