表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

作業成功と好みの充足を分けるLIBERO-PeRM、ロボットは物を置けても置き方を守れない

LIBERO-PeRM

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

LIBERO-PeRMの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Top: LIBERO-PeRM contains five procedurally generated task suites with pipeline-generated, human-reviewed demonstrations. Bottom: we investigate five key research questions in personalized manipulation.

出典:LIBERO-PeRM / arXiv ↗

概要

  • 動き、技能の使い方、利用者の選択傾向という三種の好みを、作業目標と独立に定義した。
  • 312課題の模擬環境で、作業成功率と成功時の好みの充足を別に測る五つの評価群を構成。
  • 既存VLAは追加学習なしでは好みへの追従が弱く、微調整で改善するが汎化や組合せに課題が残る。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、LIBERO-PeRMの仕組み

左から右へ読む
  1. 01作業と好みの指定
  2. 02対になる実演を生成
  3. 03方策が操作を実行
  4. 04成功率と充足を採点

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

ロボットがマグカップを机へ置けても、持ち手を外へ向ける、特定領域を避けるといった希望を守ったとは限らない。作業の成功率だけでは、利用者が望んだ実行方法まで満たしたかを判断できない。

LIBERO-PeRMは作業目標を変えずに追加できる好みを対象に、達成と好みを分離して検証する。一般的な操作能力が高ければ個人向けの動作もできるという前提を置かず、学習効率や未知配置への移行まで段階的に測る評価基盤である。

手法

好みを、軌道の速さや回避などの動作、持ち手の向きなど技能の実行方法、対象選びなど利用者プロフィールの三種に分ける。言語で表せ、元の作業目標を保ち、自動計測できる好みに限定して場面を作る。

VLMが場面や下位計画の変更を補助し、事前に記録した技能と経路計画を用いて、好みあり・なしの対応する実演を生成する。評価では外部視点と手先視点の画像、作業文と好みを方策へ渡す。例えば同じ配置でカップを通常どおり置く場合と、持ち手を外へ向ける場合を対にして、達成と姿勢の充足を測る。

新規性

言語指示の成功を一つにまとめず、同じ目標をどのように達成したかを制御された差として扱う。動き、技能、プロフィールを分けることで、単純な速度変更と意味的な対象選びの難しさを区別できる。

単一の好みだけでなく、実演量の増加、好みの組合せ、矛盾した条件、文脈からの好みの推定を別の評価群へする。好みを独立した欄で明示する条件と、自然な状況説明に埋める条件も比較する。

従来手法との違い

六つの視覚・言語・動作モデルで、好みを学習せず従う能力を比較した。π0.5は好みなしの成功率97.6%に対し、全好み条件で成功率66.67%、充足37.92%だった。

動作と技能の条件では高い作業成功でも好みの充足が低かった。微調整後は改善し、元のLIBEROを混ぜる学習は逐次適応より元能力を保持しやすかったが、動作の好みの学習を弱める場合もあり、一律に優れた調整法ではない。

実験結果

五つの評価群として312課題、計40.8Kの実行エピソードを用意した。単一好みは37種類、複数好みの組合せは18種類で、文脈化した指示は既存課題を再利用し課題数へ追加しない。

充足得点SAは、成功したエピソードだけに0、1/4、3/4、1のラベルを掛け、全試行で平均する。π0.5のLoRA調整では全好みの成功84.96%、充足82.48%だった。誤差幅は固定チェックポイントでの10回評価による変動で、学習種間の変動ではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案は、家庭や接客の操作ロボットで希望の守り方を事前評価することである。作業文と利用者の希望を入力し、達成、軌道、最終姿勢、対象選択を別々の結果として表示する。

例えばコップの向きが重要な配置作業なら、置けたかに加えて向きも合ったかを確認する。利用者ごとの複雑な嗜好を推測する機能へ直結させず、明示された再利用可能な好みへの追従から段階的に試す流れが考えられる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、一つの操作に対する二つの好みを選び、配置を同じにした対応試験を行う。既存方策を基準に、追加実演後の成功率、充足、好みなしの元能力を測る。

未知配置、未見の言い換え、二つの好みの組合せを分けて評価する。平均充足だけでなく、動作のどの部分が希望を破ったかを記録する。矛盾する希望は別枠にし、採点規則が実際の運用方針と一致しているかを人が確認する。

限界と課題

対象は言語で表せ自動評価できる好みであり、対話履歴から暗黙の嗜好を学ぶことや、非言語の希望、自由形式の好みは含まれない。結果もLIBERO上の模擬操作として解釈する必要がある。

矛盾条件の採点は、作業との衝突では元の作業を優先し、好み同士では高い方の充足を使う約束である。著者らも矛盾検知、重み付け、利用者へ尋ねるべき場面の評価ではないと区別する。編集上は、実機で必要な調整や確認行動を追加検証する必要がある。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

LIBERO-PeRM: Benchmarking Personalized Robotic Manipulation

Personalization is essential for general-purpose robots to transition into household environments and achieve true practicality. While general robotic manipulation has been extensively studied, personalized robotic manipulation (PeRM) lacks a controlled benchmark for separating task completion from preference satisfaction. We introduce LIBERO-PeRM, a benchmark for preference learning in embodied agents. LIBERO-PeRM studies five questions: 1) how policies follow preferences in zero-shot settings; 2) how they learn single preferences from demonstrations; 3) how efficiently they acquire preferences as demonstrations increase; 4) how learned preferences generalize across layouts and tasks; and 5) how policies compose preferences and behave under conflicts. We propose a controlled formulation and taxonomy of observable preferences in simulation, covering motion, skill, and user-profile choices. This formulation is restricted to language-expressible preferences that can be instantiated in LIBERO without changing the task goal, evaluated automatically, and reused across tasks. Building on LIBERO, our procedural pipeline generates paired demonstrations with and without preferences. We create five task suites (312 tasks) with high-quality demonstrations, rich metadata, and preference-satisfaction metrics. Experiments show that current VLA policies struggle with zero-shot personalization, while SFT makes preferences learnable. Mixed training achieves better no-preference retention than sequential adaptation and improves performance with contextual prompts compared with preference-only training, but can weaken motion-preference learning; preference generalization, decomposition, and conflict handling remain difficult. The code, datasets, and demos can be found on the project website: https://libero-perm.github.io/.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-17