表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

ロボットの技能提案を実行前後に点検するEmbodiedSkills

EmbodiedSkills

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

EmbodiedSkillsの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Overview of EmbodiedSkills. EmbodiedSkills transforms a low-level VLA policy into a closed-loop embodied agent by coordinating observation, planning, validation, execution, verification, and recovery through executable skills. A high-level policy proposes structured operations, while a guarded runtime validates and executes them and records post-execution feedback as structured trajectories.

出典:EmbodiedSkills / arXiv ↗

概要

  • 技能の提案を実行前に点検し、短い行動の後に新しい観測で進捗を確認する枠組み。
  • 著者らは、適応した低水準VLA方策の平均成功率をRoboTwin 2.0の50課題で86.20%、LIBEROの4系列で97.40%と報告する。
  • 記憶を要するRMBenchの4課題では平均成功率12.5%。報告された成功率は枠組み全体の改善幅を示さない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、EmbodiedSkillsの仕組み

左から右へ読む
  1. 01指示と現観測
  2. 02技能の提案
  3. 03実行条件の確認
  4. 04短い行動の実行
  5. 05新観測で検証

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

EmbodiedSkillsは、ロボットが作業中に選んだ操作について、今実行できるかを確かめ、動作後に目的を達成したかを見直す枠組みである。長い作業では、一度行動を予測するだけでは、途中の状況変化や失敗に対応しにくい。

視覚・言語・行動モデル(VLA)は、画像と指示からロボットの行動を出す。「容器を皿に置く」場合は、対象の特定、途中目標の選択、実行後の確認、必要に応じた再計画も求められる。どこで判断や実行が失敗したかを追えることが課題となる。

手法

上位のモデルが指示、現在の観測、作業の進行状況から次の技能を提案する。技能とは、必要な入力、得られる出力、実行条件を定めた操作である。実行側は作業段階との整合、必要情報の有無、観測の新しさなどを確認し、条件を満たさない提案は理由とともに記録する。

条件を満たすと、低水準のVLA方策が途中目標、観測、ロボットの状態から長さを制限した行動列を作る。例えば容器を皿に置く操作の後、新しい観測でその途中目標の進捗を判定し、続行、再観測、再計画、回復などへ進む。判断と結果は共通の形式で記録され、各部品の学習用データにもできる。

新規性

技能の選択を実行命令と同一視せず、共通の入出力形式と実行条件を持つ「技能契約」として扱う点が提案の中心である。実行側が条件を満たさない提案を止め、理由を記録する。

同じ形式で計画、短い行動の実行、結果確認をつなぐ。著者らは、この形式を保てば低水準の行動方策を交換・適応しても、エージェントの進行手順を変更せずに済む設計としている。

従来手法との違い

画像と指示から直接行動を出すVLA方策では、中間の判断が明示されない場合がある。技能を明示的に選ぶ方式でも、その選択が現在のロボットや周囲の状態で実行可能とは限らないと著者らは整理する。

EmbodiedSkillsは提案と実行を分け、必要情報や観測の新しさを実行前に確認し、実行後の観測で進捗を判定する。論文中の参照成功率との数値比較は適応した低水準VLA方策に関するもので、この実行管理の仕組みによる改善幅を示すものではない。

実験結果

著者らは、課題に適応させた低水準VLA方策について、RoboTwin 2.0の50課題で平均成功率86.20%と報告する。論文には、LingBot-VAが報告したπ0.5の参照値82.74%も記載されている。これは適応した方策の実行性能を比べる数値である。

LIBEROの4系列では平均成功率97.40%で、公式OpenPI参照値は96.85%だった。過去のやり取りの記憶が必要なRMBenchの4課題では、同じ適応方式の平均成功率は12.5%。いずれも著者らが報告する低水準方策の結果であり、枠組み全体の効果を単独で測った値ではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:製造現場の卓上で、指示された部品を指定のトレーに移す作業に使う。作業指示、作業面の画像、ロボットの状態を入力し、短い行動の実行記録、配置結果の判定、失敗理由を出力する。

試行には、対象部品とトレーを含む作業実演データ、配置の成否と途中目標の達成ラベル、作業面を観測する画像センサーが必要になる。対象物と動作に合わせて行動方策を適応し、実行後の画像で配置を判定する手順を定める。現場での効果は仮説である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:部品とトレーを限定し、作業指示、作業面の画像、ロボットの状態、作業実演データを集める。配置の成否と途中目標の達成にラベルを付け、画像センサーの観測を用いて行動方策と結果判定を対象作業に合わせて適応する。

同じ作業条件で、適応した低水準VLA方策だけを使う場合を基準に、技能の条件確認と結果確認を加えた場合を比べる。作業成功率、無効な提案の遮断件数、結果判定の誤り、回復後の成功率、所要時間を測り、失敗時の記録も照合する。

限界と課題

著者らが示す数値上の弱点は、過去のやり取りの記憶が必要なRMBenchの4課題で、適応した低水準方策の平均成功率が12.5%にとどまったことだ。ただし、これを枠組み全体の性能や失敗原因の分析結果と読み替えることはできない。

編集上の検証事項は、条件確認や進捗判定の誤り、再観測・回復に要する時間、別の作業への適応である。確認できた本文の範囲では、これらの実測値と、枠組み全体を対照手法と比べた成功率は示されていない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents

Vision-language-action (VLA) models map visual observations and language instructions directly to robot actions, but long-horizon tasks require more than action prediction. An agent must coordinate perception, planning, execution, progress verification, and recovery as the physical state evolves. An action prediction or a model-generated skill decision does not, by itself, guarantee that the proposed operation is valid in the current state or that its outcome will be verified. We propose EmbodiedSkills, a unified framework that treats each skill decision as an execution proposal: the runtime checks its prerequisites before execution and verifies the outcome afterward. A shared executable-skill interface connects high-level skill selection, bounded low-level VLA execution, and post-action verification within a single agent loop. Because this interface remains fixed, low-level VLA policies can be replaced or adapted without changing the agent loop. The interface also records planning, execution, verification, and recovery events as structured trajectories, which provide supervision for individual components and can support optional online adaptation when interactive feedback is available. We instantiate EmbodiedSkills with Qwen3-VL and OpenPI/pi0.5 on RoboTwin 2.0 and LIBERO. Task-adapted low-level VLA policies achieve an average success rate of 86.20% across 50 RoboTwin 2.0 tasks and 97.40% across the four LIBERO suites. These results establish the execution performance of the task-adapted low-level VLA policies used in EmbodiedSkills. On four memory-dependent RMBench tasks, the same task-adapted execution approach achieves 12.5% average success. The framework provides a trainable and inspectable agent layer for turning these policies into closed-loop embodied systems.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01