アーカイブ / Robotics / LLM / VLM
CABTO：計画と実行を照合してロボットの行動木を組み立てる
CABTO
CABTOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Concepts involved in the BT grounding problem. (a) A BT is a directed rooted tree with behavior nodes and control nodes. (b) The solution is a complete and consistent BT system for the given task set. (c) A complete BT system can generate solution BTs for all tasks during the high-level BT planning based on action models. (d) A consistent BT system ensures its control policies result in state transitions consistent with their action models during low-level BT execution.
概要
- CABTOは、全タスクを計画できることと、制御方策の実行結果が動作モデルに合うことを確認しながら行動木システムを構築する。
- 計画失敗の情報で動作モデルを探し、画像を含む実行結果で方策を検証する。方策が見つからない場合は動作モデルを修正する。
- 著者らの表2では、5種類の動作に対する方策サンプリングの合計欄が、文脈情報なし44％、あり62％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CABTOの仕組み
- 01タスクと候補動作
- 02計画でモデル選定
- 03実行で方策検証
- 04動作モデル修正
- 05行動木システム
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CABTOは、ロボットが作業手順を立てるための動作モデルと、実際に動かす制御方策を対応付ける。行動木とは、条件確認と動作を木の形に並べ、実行結果に応じて次の処理を選ぶ仕組みである。行動木の計画には、使える動作とその条件があらかじめ必要となる。
例えば「リンゴを引き出しに入れる」という計画でも、閉じた引き出しにはそのまま入れられない。著者らは、計画に必要な動作をそろえ、その動作が設計どおり実行できる状態を作るには専門家の作業が多く要ると指摘する。
手法
入力はタスク集合、使える条件、動作モデルと制御方策の候補である。まず大規模言語モデルが、開始状態・目標・物体の説明を基に、動作前に必要な条件と動作後に変わる状態を提案する。計画器が全タスクの行動木を作れるか調べ、作れない場合は失敗した計画の情報を次の提案に渡す。
次に画像と言語を扱うモデルが、観測画像、利用可能な制御操作、過去の試行結果から方策の種類や設定値を選び、実行コードを作る。例えば引き出しが開いた状態で収納を試し、実行後にリンゴが中にあるかを確認する。所定の試行回数で合う方策が得られなければ、計画情報と実行時の画像・成否を使って動作モデルを修正し、検証済みの動作から行動木システムを組み立てる。
新規性
著者らは、指定された全タスクを計画できる「完全性」と、制御方策による状態変化が動作モデルに合う「整合性」を備えた行動木システムの構築を、BTグラウンディング問題として定式化した。
CABTOは、計画の失敗情報で動作モデルを探し、実行後の観測で方策を確かめる。方策が見つからない場合に両方の情報を使って動作モデルを修正する点も、著者らが提案する枠組みに含まれる。
従来手法との違い
本文で示された総当たり法は、条件の組み合わせから動作モデルを列挙し、各モデルに合う制御方策を探す。条件数をnとすると、動作モデルの探索規模は最大で2の3n乗に比例すると著者らは解析している。
CABTOは大規模言語モデルと画像・言語モデルを使い、計画情報と実行結果を手掛かりに候補を選ぶ。表2には既存の方策方式との比較もあるが、この本文から各方式の実装条件をそろえた比較かどうかまでは判断できない。
実験結果
著者らは、3種類のロボット操作場面に属する7つのタスク集合で評価したと報告する。表1は高位の動作モデル提案を各条件10試行で平均し、GPT-3.5-TurboとGPT-4oについて計画情報の有無を比べる。表にはASR、CSR、FCが載るが、略語の定義は確認できた本文の範囲では分からない。
表2は5種類の動作について、方策サンプリングの結果を各動作10回ずつ示す。文脈情報なし・ありの列の合計は、著者らの報告でそれぞれ44％・62％だった。この数値を実機や別の作業に当てはめられるかは、提示された試行条件だけでは判断できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：リンゴを引き出しに入れる作業で、引き出しの開閉、リンゴの位置、開始状態と目標状態を入力し、「開ける」「つかむ」「入れる」を結ぶ行動木システムを出力する。現場では動作前後のカメラ画像と状態判定を記録し、計画と実行のずれを確認する。
必要なのは観測画像、開閉・把持・収納の成否ラベル、利用可能な制御操作の定義である。既存の事前学習済みモデルを対象作業へどう適合させるか、追加学習用データが要るかは、この応用案で確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず一つの収納作業について開始状態、目標、開閉・把持・収納の判定条件を定義する。カメラによる動作前後の観測と、利用可能な制御操作を用意し、各試行に状態と成否のラベルを付ける。事前学習済みモデルを対象環境へ適合させる手順と、追加学習データの要否を確認する。
比較対象には、人が同じ条件と動作を定義した小規模な行動木システムを置く。同じ開始状態と目標で、計画できたタスク数、期待した状態になった動作の割合、修正までの試行回数を測る。失敗は計画時と実行時に分けて記録する。
限界と課題
著者らは、総当たり法では動作モデルの探索規模が指数的になり、狙った効果を生む制御方策の設計と整合性の確認も難しいと述べる。CABTO自身については、候補方策を所定回数試しても整合する方策が得られなければ、動作モデルの修正へ進む手順が示されている。
編集上の検証事項は、画像から状態を正しく判定できるか、失敗時に安全に停止・復帰できるかである。確認できた本文の範囲では、実機への移行条件や未見の物体・配置での性能は判断できない。
出典
元のタイトル・要旨を確認する（英語）
CABTO: Context-Aware Behavior Tree Grounding for Robot Manipulation
Behavior Trees (BTs) offer a powerful paradigm for designing modular and reactive robot controllers. BT planning, an emerging field, provides theoretical guarantees for the automated generation of reliable BTs. However, BT planning typically assumes that a well-designed BT system is already grounded -- comprising high-level action models and low-level control policies -- which often requires extensive expert knowledge and manual effort. In this paper, we formalize the BT Grounding problem: the automated construction of a complete and consistent BT system. We analyze its complexity and introduce CABTO (Context-Aware Behavior Tree grOunding), the first framework to efficiently solve this challenge. CABTO leverages pre-trained Large Models (LMs) to heuristically search the space of action models and control policies, guided by contextual feedback from BT planners and environmental observations. Experiments spanning seven task sets across three distinct robotic manipulation scenarios demonstrate CABTO's effectiveness and efficiency in generating complete and consistent behavior tree systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01