アーカイブ / Robotics / VLM
異なるロボットの操作記録を合わせて学ぶOpen X-Embodiment
Open X-Embodiment / RT-X
Open X-Embodiment / RT-Xの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : The Open X-Embodiment Dataset. (a) : the dataset consists of 60 individual datasets across 22 22 embodiments. (b) : the Franka robot has the largest diversity in visually distinct scenes due to the large number of Franka datasets, (c) : xArm and Google Robot contribute the most number of trajectories due to a few large datasets, (d, e) : the dataset contains a great diversity of skills and common objects.
概要
- 21機関・22種類のロボットを含む100万件超の操作軌跡を共通形式へ集めた。
- RT-Xの評価では、少量データの五つの環境中四つでRT-1-Xが元の手法を上回った。
- データ量の多いBridgeではRT-1-Xが単独学習のRT-1を下回り、転移の効果は条件次第だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Open X-Embodiment / RT-Xの仕組み
- 01複数機種の操作記録
- 02画像と動作を共通化
- 03RT-Xを学習
- 04手先の動作候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ロボットの操作学習は、機種、作業、環境ごとに記録を集めてモデルを作ることが多い。個々の現場で記録が少ない場合、あるロボットで得た経験を別のロボットにも使えるかが実用上の課題となる。
Open X-Embodimentは複数の機関が持つ操作記録を統合し、RT-Xで機種をまたぐ学習を試した研究である。異なる機体のデータを合わせる際、観測画像と動作の表現をどうそろえるかが鍵になる。
手法
研究チームは、異なるロボットの操作履歴を共通の保存形式に変換した。各記録には観測画像や作業指示、実行した動作が含まれる。学習時には各データから代表的なカメラ画像を選び、動作を手先の位置・向き・把持の開閉で表す七次元の値へ寄せる。手先は物体をつかむなど実際の作業を行う先端部分を指す。
RT-1-XとRT-2-Xは、画像と「物体を移す」といった文章の指示を受け、次の動作を予測する。動作値は学習用に区切った値へ変換し、実行時には対象のロボットに合わせて戻す。RT-1-Xはロボットの記録で学習し、RT-2-Xは視覚・言語データとロボットの記録を併用する。両者の基礎構造は既存のRT-1、RT-2に基づく。
新規性
Open X-Embodimentは、異なるロボットの操作記録を共通形式で扱えるように集め、機種をまたぐ学習の土台を作った。論文の中心は新しい制御構造ではなく、データの統合と既存のRT-1、RT-2を使った転移の検証にある。
RT-Xでは、複数機種の経験を一つの方策に学ばせる。著者らは、データの少ない一部の機種・課題で、他機種からの経験が成功率の改善につながると報告した。
従来手法との違い
通常はロボットや作業環境ごとに操作方策を学習する。論文は、各評価環境のデータだけで学習した既存手法とRT-1を基準にし、複数のロボットのデータを合わせて学習したRT-1-X、RT-2-Xを比べた。
少量データの環境ではRT-1-Xが五つ中四つで元の手法を上回った。一方、Bridgeなどデータが多い条件では、小さいRT-1-Xが単独学習のRT-1より低い結果もある。機種をまたぐ学習の効果は、課題とモデル容量に左右される。
実験結果
著者らは、21機関から集めた22種類のロボットを含むデータ集合を示し、操作軌跡は100万件超と報告する。実験用のRT-X学習には、その時点で利用可能だった九種類のマニピュレータのデータを用い、評価は六種類のロボットで計3600試行した。
少量データの五つの評価環境では、RT-1-Xが元の手法を四つで上回った。一方、Bridgeの評価では、単独学習のRT-1が40%の条件でRT-1-Xは27%だった。著者らの表は、機種間の転移が常に有利とは限らず、モデルの規模や元データ量で結果が変わることも示す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：部品を指定位置へ移す作業で、既存の操作記録が少ないロボットの学習候補を作る。入力は作業場所の画像、自然言語の指示、複数機種の過去の操作記録で、出力は対象機種向けに解釈した手先の移動と把持操作の候補とする。
まず記録上で候補動作を照合し、次に管理された評価手順で実機の成功率を測る。ロボットごとに同じ数値が異なる動きを意味し得るため、出力を対象機種の座標と操作量へ戻す工程を明示する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの対象ロボットと一つの移動作業を選び、その機種だけの記録で学んだ方策を基準にする。追加する他機種の記録は、画像、指示、手先動作の対応を点検してから使う。
同じ配置と新しい配置で、作業成功率、つかみ損ねの件数、指示と異なる動作の件数を比較する。対象機種へ動作値を戻した後の移動量も記録し、共通化した値が機体ごとにどう解釈されるかを確認する。
限界と課題
著者らは、データ間でカメラ位置や操作座標系が十分にはそろっておらず、同じ操作値でも機種によって異なる動きになると説明する。大きな学習済みデータを持つ条件では、RT-1-Xが単独学習の基準を下回る例も報告した。
編集上の確認課題は、対象機種の動作範囲と操作値の対応、新しい物体や配置での成功率、失敗時の停止条件である。論文の転移効果を、未評価のロボットや作業へそのまま当てはめることはできない。
出典
元のタイトル・要旨を確認する（英語）
Open X-Embodiment: Robotic Learning Datasets and RT-X Models
Large, high-capacity models trained on diverse datasets have shown remarkable successes on efficiently tackling downstream applications. In domains from NLP to Computer Vision, this has led to a consolidation of pretrained models, with general pretrained backbones serving as a starting point for many applications. Can such a consolidation happen in robotics? Conventionally, robotic learning methods train a separate model for every application, every robot, and even every environment. Can we instead train generalist X-robot policy that can be adapted efficiently to new robots, tasks, and environments? In this paper, we provide datasets in standardized data formats and models to make it possible to explore this possibility in the context of robotic manipulation, alongside experimental results that provide an example of effective X-robot policies. We assemble a dataset from 22 different robots collected through a collaboration between 21 institutions, demonstrating 527 skills (160266 tasks). We show that a high-capacity model trained on this data, which we call RT-X, exhibits positive transfer and improves the capabilities of multiple robots by leveraging experience from other platforms. More details can be found on the project website https://robotics-transformer-x.github.io.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29