表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

言葉の違いによる判定の揺れを地図に反映し、室内の目標物を探す

Uncertainty-Informed Active Perception

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Uncertainty-Informed Active Perceptionの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1: We develop an uncertainty-informed, open-vocabulary ObjectNav pipeline for locating arbitrary objects in indoor environments. The figure visualises our approach: given a target object, the robot needs to navigate to it (green arrow) in an initially unknown environment. The robot actively selects a frontier to explore at each timestep amongst all available frontiers (yellow rectangles) using our multi-arm bandit frontier planner informed by semantic relevance estimates about each frontier (blue Gaussians) from our probabilistic geometric-semantic map (purple).

出典:Uncertainty-Informed Active Perception / arXiv ↗

概要

  • 複数の言い換えに対する画像の関連度から平均と分散を求め、探索用の地図に反映する。
  • 目標物を検出できないときは、関連度と不確かさを使って次に調べる境界を選ぶ。
  • 著者らのHM3D文言比較では、I-FBE2のSRは53.50、SPLは27.31で、VLFMの既定文言は52.60、30.42だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Uncertainty-Informed Active Perceptionの仕組み

左から右へ読む
  1. 01目標名とRGB-D画像
  2. 02文ごとの関連度推定
  3. 03確率地図を更新
  4. 04境界を選び移動

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

この手法は、未知の室内で、言葉で指定された物をロボットが探す課題を扱う。ロボットはカメラ画像と奥行き情報を得ながら、限られた時間内に次の移動先を決める。

画像と文章の関係を判定する視覚言語モデルは、同じ物を指す文でも表現が変わると関連度の得点が変わりうる。一つの得点を確かな値として地図に記録すると、探索先が文言に左右されるため、著者らは得点の揺れも判断に加えた。

手法

入力は目標物名、カラー画像と各画素までの距離を含むRGB-D画像、既知と仮定したロボット位置である。画像内で目標物を検出できれば、物体の領域と距離から位置を推定して向かう。検出できなければ、同じ目標物を表す複数の文と画像を視覚言語モデルに与え、関連度の平均と分散を求める。分散は得点のばらつきの大きさを表す。

奥行き情報から障害物の地図を作り、関連度とその不確かさも格子状の地図に蓄える。画像の周辺に対応する場所ほど観測の不確かさを大きく扱う。既知の空間と未知の空間の境界を候補に、関連度と不確かさから次の行き先を選ぶ。例えばカップを探すとき、検出前は境界へ進み、新しい画像を得るたびに地図を更新する。

新規性

著者らは、同じ目標物を表す複数の文に対する画像の関連度を、平均と分散を持つ観測として扱う確率的なセンサーモデルを提案した。画像の周辺部では観測の不確かさを大きく見積もり、地図の更新に反映する。

さらに、その地図を使い、目標物との関連度が高い境界と、判定が不確かな境界を評価して探索先を選ぶ。固定した一つの文言に頼らずに探索することが狙いである。

従来手法との違い

VLFMは、画像と固定文言の関連度を地図に記録し、探索先の選択に使う。提案法は複数の文言による関連度の平均と分散を記録し、境界を選ぶ際にも不確かさを考慮する。

著者らは、最も近い境界や無作為に選んだ境界へ進む方法、ほかの物体探索手法も比較対象に挙げる。ただし、確認できた本文の範囲にある数値表はHM3Dでの文言比較であり、それ以外の手法との成績差は判断できない。

実験結果

著者らはHabitat上で、MP3Dの2,195エピソードとHM3Dの2,000エピソードを評価に用いると記す。指標は成功率(SR)と、成功時の経路を最短経路と比べ、失敗時はゼロとするSPLである。

確認できた本文の範囲では、HM3Dの2,000エピソードを用いた文言比較表で、VLFMの既定文言はSR 52.60、SPL 30.42。提案法I-FBE1は52.25、28.96、I-FBE2は53.50、27.31だった。VLFMへの入力を物体名だけにすると50.60、28.28となった。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:室内でプリンターを探す移動ロボットの試験に使う。目標物名、走行中のカラー画像と深度画像、ロボット位置を入力し、次に調べる境界、または検出したプリンターへ向かうための目標位置を出力する。

試験には、プリンターの有無と位置を確認できる室内走行データ、評価用の正解ラベル、目標名の複数の言い換えが必要になる。現場の画像と位置情報に合わせて地図の更新を調整し、実際に探せるかを検証する応用仮説である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:まず、対象物の位置が分かる室内走行データを集める。入力にはカラー画像、深度画像、ロボット位置、目標物名が必要で、評価用に対象物の有無と正解位置のラベルを付ける。目標名の言い換えも複数用意する。

同じデータと探索条件で、固定文言を使う方式を基準に、提案法の地図更新と境界選択を試す。画像と位置情報に合わせて地図への投影を調整し、言い換えごとのSRとSPL、移動距離、判断時間を測る。成績の差と揺れを確認してから実環境への適用を判断する。

限界と課題

著者らは評価用のMP3Dについて、固有の環境数が限られ、データにも不完全な点があると述べる。示された設定はHabitat上の室内探索であり、実機で同じ成績になるという結果は確認できない。

編集上の検証事項は、言い換えの作り方によって関連度の分散がどう変わるか、誤検出や位置の誤差が探索にどう響くかである。複数の文を評価する処理時間と、未知の室内配置での成功率も測る必要がある。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Uncertainty-Informed Active Perception for Open Vocabulary Object Goal Navigation

Mobile robots exploring indoor environments increasingly rely on vision-language models to perceive high-level semantic cues in camera images, such as object categories. Such models offer the potential to substantially advance robot behaviour for tasks such as object-goal navigation (ObjectNav), where the robot must locate objects specified in natural language by exploring the environment. Current ObjectNav methods heavily depend on prompt engineering for perception and do not address the semantic uncertainty induced by variations in prompt phrasing. Ignoring semantic uncertainty can lead to suboptimal exploration, which in turn limits performance. Hence, we propose a semantic uncertainty-informed active perception pipeline for ObjectNav in indoor environments. We introduce a novel probabilistic sensor model for quantifying semantic uncertainty in vision-language models and incorporate it into a probabilistic geometric-semantic map to enhance spatial understanding. Based on this map, we develop a frontier exploration planner with an uncertainty-informed multi-armed bandit objective to guide efficient object search. Experimental results demonstrate that our method achieves ObjectNav success rates comparable to those of state-of-the-art approaches, without requiring extensive prompt engineering.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01