アーカイブ / VLM / Robotics
画像付き室内地図から移動と物体操作を一続きに計画するUniPlan
UniPlan
UniPlanの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Overview of UniPlan. See detailed descriptions in Section III .
概要
- UniPlanは指示に関係する画像付き地点を選び、移動と物体操作を一つのPDDL計画にまとめる。
- 著者らの50課題によるエミュレータ評価では、片手・扉なし条件の成功率は83.50±4.43％だった。
- 実用化には、地図と画像の更新、物体状態の認識、計画した操作の実機での成否を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、UniPlanの仕組み
- 01指示と画像付き地図
- 02関連地点を選択
- 03圧縮地図と状態を生成
- 04移動・操作計画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
UniPlanは、複数の部屋を移動しながら物を扱うロボットの作業手順を作る。別室の物を取るには、画像に写る物だけでなく、通路のつながり、扉の状態、使える手を合わせて考える必要がある。
卓上操作向けの規則には、この移動や扉の条件が含まれない。室内の画像を一度にすべて処理する代わりに、指示に関係する場所を選び、そこで読み取った物体の状態を移動の条件と結び付けることが課題となる。
手法
入力は自然言語の指示、地点に画像を結び付けた地図、ロボットの状態である。UniPlanは事前に作った画像の説明文から関係する地点を選び、元の地図に基づく接続関係と移動費用で地図を圧縮する。閉じた扉をまたぐ近道は作らず、扉を通る辺を残す。
次に視覚言語モデル、つまり画像と文章を扱うモデルが、選ばれた画像から物体、状態、目標を記述する。ロボットの位置や手の状態と地図情報を加え、PDDLという行動の実行条件と結果を表す計画用形式に統合する。例えば別室のりんごを机へ置く指示なら、計画器が移動、必要な扉操作、把持、配置の順を求め、圧縮した移動区間を元の地図の経由地点へ戻す。
新規性
UniPlanの提案は、実演動画から学んだ卓上操作の行動規則を、プログラムによる書き換えで移動、扉の通過、左右の手の使用まで拡張する点にある。各操作にロボットと物体の位置条件を加え、物を持った後の位置も更新する。
画像から読み取る物体の状態、ロボットの状態、地図上の接続関係を別々に作り、最後に一つのPDDL問題へ統合する。視覚言語モデルが室内全体の位置関係まで推論する構成ではない。
従来手法との違い
基となるUniDomainは実演から卓上操作の規則を学ぶが、部屋間の移動や扉の通過は扱わない。UniPlanはその規則を拡張し、移動と操作を同じ計画の中で選べるようにする。
著者らは、言語モデルが直接計画する方式、文章化した場面情報を使うSayPlan、PDDLを併用するDELTAと比較した。直接計画する方式にも検索結果と圧縮地図を渡し、DELTAは今回の課題に合わせて規則の生成段階を既存規則の選択に変更している。
実験結果
著者らは、現実空間の画像を使った地図と、人が考えた50課題で評価した。地図には移動地点43、部屋地点18、扉18、物体を扱う地点31があり、片手・両手と閉じた扉の有無を組み合わせた4条件を設けた。成功率は、行動条件の違反、目標未達、存在しない物体への操作を検査するエミュレータで判定した。
著者らの表では、片手・扉なし条件の成功率はUniPlanが83.50±4.43％、直接計画する言語モデルが40.00±4.62％、SayPlanが41.00±5.29％、変更したDELTAが26.00±5.89％だった。この比較値は同条件と著者らの実装に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数の部屋の備品を指定の棚へ戻す作業で、室内ロボットの手順案を作る。入力は作業指示、置き場の画像を結び付けた通路地図、現在位置、手の空き状態とする。出力は移動、扉の開放、把持、配置を並べた計画である。
前提には、元の方式が使う実演動画由来の行動規則に加え、現場の地図、画像、備品名と置き場の対応が要る。備品の識別名を現場の物体ラベルに合わせ、ロボットから得る位置と手の状態を計画入力へ接続する。現場で追加学習が必要かは検証対象とする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず一つの区画で、通路と扉の地図、置き場ごとの画像、ロボットが観測する位置と手の状態を集める。元の方式に必要な実演動画由来の行動規則を用意し、対象備品の名前を物体ラベルとして対応付ける。画像からの識別結果と、把持・配置・扉操作の実行条件を人手で照合する。
同じ指示群について、人手で作った基準手順とUniPlan方式の計画を比べる。目標達成率、存在しない物体への操作、閉じた扉の通過、手が塞がった状態での操作、計画作成時間を測る。画像や地図が古い場合も分けて記録し、現場への適応に必要な修正量を確かめる。
限界と課題
著者が明記する前提は、画像付き地図を運用前に作ることだ。評価には現実空間の画像と人が考えた課題を使うが、成功判定には行動条件、状態遷移、目標達成を実装したエミュレータを用いる。確認できた本文の範囲では、実機で一連の動作を実行した成功率は示されていない。
編集上の検証事項は、配置変更後の地図と画像の更新、物体状態の読み違い、扉や把持の実行失敗への対応である。地図上で成立する計画が現場でも実行できるか、操作後に観測した状態を次の計画へどう反映するかを確認したい。
出典
元のタイトル・要旨を確認する（英語）
UniPlan: Vision-Language Task Planning for Mobile Manipulation with Unified PDDL Formulation
Integration of VLM reasoning with symbolic planning has proven to be a promising approach to real-world robot task planning. Existing work like UniDomain effectively learns symbolic manipulation domains from real-world demonstrations, described in Planning Domain Definition Language (PDDL), and has successfully applied them to real-world tasks. These domains, however, are restricted to tabletop manipulation. We propose UniPlan, a vision-language task planning system for long-horizon mobile-manipulation in large-scale indoor environments, that unifies scene topology, visuals, and robot capabilities into a holistic PDDL representation. UniPlan programmatically extends learned tabletop domains from UniDomain to support navigation, door traversal, and bimanual coordination. It operates on a visual-topological map, comprising navigation landmarks anchored with scene images. Given a language instruction, UniPlan retrieves task-relevant nodes from the map and uses a VLM to ground the anchored image into task-relevant objects and their PDDL states; next, it reconnects these nodes to a compressed, densely-connected topological map, also represented in PDDL, with connectivity and costs derived from the original map; Finally, a mobile-manipulation plan is generated using off-the-shelf PDDL solvers. Evaluated on human-raised tasks in a large-scale map with real-world imagery, UniPlan significantly outperforms VLM and LLM+PDDL planning in success rate, plan quality, and computational efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01