表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

Uni-LaViRA:言葉と画像から移動先を選び、4種類の移動課題に対応する

Uni-LaViRA

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Uni-LaViRAの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 2: The Uni-LaViRA pipeline. Language Action emits a tool call, Vision Action grounds it on the agent’s first-person view along the chosen direction, and Robot Action dispatches it. TDM maintains an online checklist; SCB rewinds to a prior waypoint when a sub-goal fails. Together, the three-level decomposition and the two agent-loop mechanisms turn each step into a verifiable, self-correcting decision shared by all four task families.

出典:Uni-LaViRA / arXiv ↗

概要

  • 言語担当のモデルが方向を選び、画像担当のモデルが画素上の目標を選ぶ。深度情報と機体別の制御部が、それを移動命令に変える。
  • 未達成の小目標を更新する一覧と、失敗した経路を次の判断に使う引き返し機能を加えた。
  • 著者らは6つの評価対象で成功率を報告する。ただし、確認できた本文の範囲では評価分割などの詳細と実機の定量成績は確認できない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Uni-LaViRAの仕組み

左から右へ読む
  1. 01指示と周囲の画像
  2. 02進捗と方向を決定
  3. 03画像内の目標を選択
  4. 04深度から位置を計算
  5. 05機体へ移動命令

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

Uni-LaViRAは、言葉による目標とカメラ画像から次の移動先を決める手法である。対象は経路指示、指定物体の探索、移動しながらの質問応答、屋外での飛行指示に及ぶ。

課題や機体が変わるたびに別の移動方針を学習する方法では、ロボットの移動軌跡を集める負担が生じる。著者らは、方向の選択と画像上の目標の選択を共通の判断手順にし、最後の移動制御を機体に合わせる構成を提案した。

手法

Uni-LaViRAは各地点で、指示、周囲の画像、訪問履歴を受け取る。例えば「廊下を進んで寝室の入口へ」なら、言語担当のモデルが次の方向を選び、画像担当のモデルがその方向の画像で入口を囲む枠か一点を返す。RGB-D画像は色画像と画素ごとの距離情報を組にしたもので、目標の画素、距離、カメラの校正値、現在位置から空間上の移動先を求める。

機体ごとの制御部がそこまでの短い経路を計画し、移動を実行する。TODO List Memoryは未達成の小目標を各判断時に更新し、完了には根拠となる観察を記す。Second Chance Backtrackは誤った判断の前の地点へ戻り、失敗した経路を次の計画に渡す。上位の判断には、言葉と画像を扱う事前学習済みのマルチモーダル大規模言語モデルを使う。

新規性

先行手法LaViRAが対象としたのは、文章による経路指示に従うVLN-CEだけだった。Uni-LaViRAは同じ言語・画像・制御の構成を、物体探索、移動を伴う質問応答、飛行指示にも広げた。

さらに、未達成の小目標を更新するTODO List Memoryと、失敗した経路を次の判断に渡すSecond Chance Backtrackを加えた。著者らは、上位の判断部を追加学習せず、機体ごとの制御部を替えて適用したと述べる。

従来手法との違い

先行手法LaViRAは1種類の課題群を扱い、作業状況をプロンプトの履歴で保持していた。誤った移動の後は一つ前の地点へ戻るが、失敗した経路は次の判断に渡さなかった。Uni-LaViRAは4種類の課題群を扱い、進捗一覧と失敗経路を判断に使う。

本文で紹介される学習型手法のVLN-CE R2R成功率は約66~70%で、Uni-LaViRAの60.7%より高い。ただし学習の有無に加え、評価条件をそろえた比較表も確認できないため、この数字だけで手法間の優劣は決められない。

実験結果

著者らは追加のロボット軌跡学習なしで、成功率(SR)をVLN-CEのR2Rで60.7%、RxRで51.3%、物体探索のHM3D-v2で77.7%、HM3D-OVONで60.0%、質問応答のMP3D-EQAで54.7%、飛行指示のOpenUAVで40.0%と報告した。

本文では、最初の3課題群をHabitat-Sim、飛行課題をAirSimで扱う。車輪型、四足型、人型、無人航空機への実機適用にも言及する。ただし、確認できた本文の範囲では各数値の評価分割と試行数、条件をそろえた比較表、実機での定量結果を確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:施設内の巡回ロボットに「受付を通って会議室前へ行く」と指示する。入力には指示文、周囲の色画像と深度画像、現在位置、カメラの校正値を使う。出力は次の方向、画像内の目標地点、機体向けの短距離移動命令、途中目標の進捗一覧とする。

必要なセンサーは色と距離を取得できるカメラで、対象機体に合わせた位置取得と移動制御の調整も要る。元の視覚言語モデルの学習データとラベルの内訳は確認できない。現場での検証用には、巡回経路と到達地点の正解を人が記録する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:施設内の短い巡回指示を複数用意し、開始位置、途中地点、最終到達地点を正解ラベルとして人が記録する。色画像と深度画像を取得するカメラ、現在位置、カメラの校正値をそろえ、対象機体の移動命令に合わせて制御部を調整する。

元の視覚言語モデルの学習データとラベルの内訳は確認できないため、比較には同じ事前学習済みモデルを使う。基準は進捗一覧と失敗経路を使う引き返し機能を外した構成とし、同じ経路で到達率、途中地点の取りこぼし、誤停止、引き返し後の到達率、判断時間を測る。

限界と課題

著者らが先行版の限界として挙げるのは、経路指示以外を扱っていなかったこと、長い指示で途中目標を忘れやすかったこと、引き返した後に失敗経路を判断に使えなかったことだ。新版の進捗一覧と引き返し機能は、後二者への対処として示されている。

編集上の検証事項は、誤った目標を完了と記録しないか、安全に引き返せるか、判断時間が運用に収まるかである。著者らは4種類の実機への適用を述べるが、確認できた本文の範囲では実機の定量成績や継続運用時の安全性を判断できない。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation

Embodied navigation requires an agent to map language and visual observations to a stream of spatial actions that drive a real robot through environments it has never seen. The dominant approach has been to scale vision-language-action (VLA) foundation models on ever-larger collections of robot trajectories. This paper argues that, for navigation specifically, generality can be obtained structurally, not only through data scale. The underlying decision structure of navigation reduces to a single Language-Vision-Robot Actions Translation. The language action emits semantic-level directional command and the vision action emits a pixel-level visual target. Both outputs lie inside the natural output manifold of pretrained multimodal large language models (MLLMs), so the task can be reasoned about by an agent rather than learned from robot data. Therefore, we present Uni-LaViRA, a unified agentic architecture that extends the same insight to four task families (VLN-CE, ObjectNav, EQA, and Aerial-VLN) and to four heterogeneous real robots (Wheeled, Quadruped, Humanoid robot, and a self-built UAV) in a zero-shot manner. Two agent-loop mechanisms make this unification practical. TODO List Memory (TDM) rewrites a structured checklist of pending sub-goals at every step, reciting the unfinished items back into the agent's most recent attention window. Second Chance Backtrack (SCB) rolls the robot back to the pre-error state and conditions the agent's next plan on the failed sub-trajectory, turning single-pass navigation into a self-correcting process. With zero training effort, Uni-LaViRA reaches 60.7% SR on VLN-CE R2R, 51.3% on VLN-CE RxR, 77.7% on HM3D-v2, 60.0% on HM3D-OVON, 54.7% on MP3D-EQA, and 40.0% on OpenUAV, matching or even surpassing recent training navigation foundation models that consume millions of samples and thousands of GPU-hours.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01