アーカイブ / VLM / Robotics
画像の配置を計画用の問題文に変えるImage2PDDL――内容の読み違いと教材への適用を検証
Image2PDDL
Image2PDDLの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Image2PDDL operates in three main steps. First, the image of the initial state is translated into a predefined state format. Next, either an image or text description of the goal state is similarly converted to the same state format. Finally, both states are used to generate a PDDL problem based on predefined domains and examples.
概要
- 開始状態の画像と、画像または文章で示した目標からPDDLの問題文を生成する。
- 積み木、タイル、Kitchenの評価では全条件で構文エラーが0件だったが、状態の内容には誤りがあった。
- 箱型教材では小規模な初期実験が報告されている。ロボットによる指導や学習効果は検証されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Image2PDDLの仕組み
- 01開始画像と目標
- 02両状態を文章化
- 03ドメインと例を参照
- 04PDDL問題文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Image2PDDLは作業場面の画像から、計画ソフトが読める問題文を作る。PDDLは物体、開始時の配置、目標などを決まった書式で記す計画用の言語で、問題文を手作業で作るには物体間の関係を整理する必要がある。
配置が毎回変わる作業では、その都度、現在の状態を書き直す負担が生じる。画像から記述できれば作業状態の確認に役立つ一方、物体や位置の読み違いが問題文に入るため、書式だけでなく内容も確かめる必要がある。
手法
まずChatGPT4oに開始状態の画像と出力形式の例を渡し、物体の位置や関係を所定の文章形式にする。目標状態も画像または文章から同じ形式に変換する。例えば積み木では、どのブロックが机上にあり、どのブロックが別のブロックの上にあるかを表す。
次に、二つの状態、既定のPDDLドメイン、出力例、状態の記述規則をChatGPT4oに渡して問題文を生成する。ドメインとは、扱う物体の種類、状態を表す語、可能な操作の定義である。出力には開始状態と目標状態が記され、実行する操作列は別途計画する。
新規性
開始状態の画像と、画像または文章で示す目標状態を同じ形式に変換し、既定のPDDLドメインと組み合わせて問題文を生成する。視覚情報を含む入力から、計画ソフトが扱う状態記述までを一連の手順にした点が提案の中心である。
生成するのは開始状態と目標を記した問題文であり、実行する操作列ではない。箱型教材への応用も扱うが、授業での学習効果を示した成果ではない。
従来手法との違い
先行研究のLLM+Pは開始状態と目標状態を文章で受け取るため、画像を使う場合は文章化が必要になる。本文で紹介されたXieらの手法は目標の文章記述に焦点を当て、ViLaInは画像処理に物体検出モデルと画像説明モデルを用いる。
Image2PDDLは視覚と言語を扱うモデルに画像中の状態を読み取らせ、既定のドメインから問題文を作る。確認できた本文の範囲では、これらの先行手法と同じ条件で精度や所要時間を比較した数値は示されていない。
実験結果
著者らは積み木、スライド式タイル、3D環境のKitchenで、各難易度につき50場面を用意した。開始画像と、画像または文章で示した目標を入力し、生成したPDDLをFast Downwardで構文検査した。内容は記述された開始状態と目標状態を正解と照合した。
著者らの表では全条件の構文エラーが0件だった。一方、Kitchenの内容エラーは画像目標で易・中・難の順に7/50、5/50、9/50件、文章目標で各3/50件だった。箱型教材の小規模な初期実験でも構文の妥当性は報告されたが、場面数と内容精度の数値は確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：球を対応する器に入れる箱型教材で、カメラ撮影した作業途中の写真と、完成状態を示す写真または文章を入力する。教員が生成された物体の位置と目標を確認し、計画ソフトが求めた次の操作を支援提示の候補にする。
元データとして教材の配置例と完成例を用意し、各球の位置と対応先を教員が正解ラベルとして付ける。教材ごとに物体名、場所、可能な操作を定義する必要がある。提示をロボットの動作や発話に変える方法と教育上の効果は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の箱型教材について、カメラで作業途中と完成状態を撮影する。教員が物体の種類、個数、位置、対応先を正解ラベルとして記録し、可能な操作をPDDLドメインに定義する。出力例も教材に合わせて用意し、追加学習の要否は使用するモデルの運用条件として確認する。
教員が手で作った問題文を基準に、生成結果の構文通過件数と、物体数・位置・目標の一致件数を測る。物体が一部隠れた写真も含め、誤りの種類と教員の修正時間を記録する。別の教材へ広げる際は定義と出力例を更新し、同じ検査を行う。
限界と課題
著者らが報告した内容上の誤りには、積み木の上下関係の逆転、タイル位置の入れ替わり、Kitchenでの小物の見落としがある。箱型教材の初期実験でも、同種の物体の個数違いや未認識が起きた。構文検査を通過しても、画像の読み取りが正しいとは限らない。
編集上の検証事項は、物体が隠れる配置や撮影条件の違いで誤りがどう変わるか、教員による修正にどれだけ時間がかかるかである。ロボットの案内の適切さや児童の学習成果は、示された評価からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Planning with Vision-Language Models and a Use Case in Robot-Assisted Teaching
Automating the generation of Planning Domain Definition Language (PDDL) with Large Language Model (LLM) opens new research topic in AI planning, particularly for complex real-world tasks. This paper introduces Image2PDDL, a novel framework that leverages Vision-Language Models (VLMs) to automatically convert images of initial states and descriptions of goal states into PDDL problems. By providing a PDDL domain alongside visual inputs, Imasge2PDDL addresses key challenges in bridging perceptual understanding with symbolic planning, reducing the expertise required to create structured problem instances, and improving scalability across tasks of varying complexity. We evaluate the framework on various domains, including standard planning domains like blocksworld and sliding tile puzzles, using datasets with multiple difficulty levels. Performance is assessed on syntax correctness, ensuring grammar and executability, and content correctness, verifying accurate state representation in generated PDDL problems. The proposed approach demonstrates promising results across diverse task complexities, suggesting its potential for broader applications in AI planning. We will discuss a potential use case in robot-assisted teaching of students with Autism Spectrum Disorder.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01