アーカイブ / Robotics / VLM
画像と指示からロボットの動作を決めるRT-1：多様な実演を学ぶ制御モデル
RT-1
RT-1の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(b) RT-1’s large-scale, real-world training (130k demonstrations) and evaluation (3000 real-world trials) show impressive generalization, robustness, and ability to learn from diverse data.
概要
- RT-1は言語指示と6枚の画像履歴から、腕・把持部・移動台の動作を出す。
- 著者らは約13万件の実演と3000回超の実機試行を用い、学習済み指示で成功率97％と報告した。
- 比較結果は特定の機体とキッチン環境に基づくため、別環境では完了率と失敗時の挙動を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RT-1の仕組み
- 01指示と画像履歴
- 02画像特徴の抽出
- 03情報を圧縮
- 04腕と移動台の動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ロボットに新しい作業を覚えさせるには、人が手本を示す実演データを集める必要がある。作業ごとにデータを集め直す方法では、対象物や場所が増えるほど負担が大きい。
RT-1は、一つのモデルが多くの作業の共通点を学べるかを問う研究である。言葉による指示とカメラ画像から次の動作を決めるため、学習した場所と異なる背景や、未経験の指示でも対応できるかが実用上の焦点になる。
手法
RT-1は、自然言語の指示と直近6枚の画像を受け取る。指示を数値表現に変え、FiLMという仕組みで画像の特徴抽出を指示に応じて調整する。たとえば「缶を持ち上げる」なら、画像全体からその指示に関係する特徴を取り出す。TokenLearnerは画像1枚当たり81個の特徴を8個にまとめ、後段が扱う情報量を減らす。
続くTransformerは、時間順に並べた特徴から次の動作を推定する。Transformerは複数の情報の関係を見ながら出力を作るモデルで、ここでは腕、把持部、移動台などの命令を出す。動作の各値は256区分のいずれかで表す。学習には成功した人の実演を使い、画像と指示から実演中の動作を再現するよう訓練する。
新規性
RT-1の主張する進歩は、多数の作業を一つのモデルで学びながら、実機の制御に使える速度で動作を出す設計にある。指示を画像の特徴抽出に早い段階から反映し、画像の情報を少数のトークンに圧縮してからTransformerに渡す。
著者らは、実機で集めた幅広い実演を用い、既習の指示に加えて新しい指示や背景への対応も調べた。新規性はTransformer単体の採用ではなく、データの多様性と入力の圧縮を実機制御に結び付けた点にある。
従来手法との違い
比較対象のGatoもTransformerを使うが、論文の比較設定では画像を区画ごとに表し、RT-1のような早期の言語条件付けやTokenLearnerを使わない。実機で動く速度に合わせ、著者らはGatoのモデル規模をRT-1に近づけて比較した。
もう一つのBC-Zは過去の画像を使わない順伝播型のモデルで、連続値の動作を出す。RT-1は短い画像履歴を使い、動作を離散的な値として出す。これらは同じ収集データで学習させた比較であり、公開済みの各モデルをそのまま比べた結果ではない。
実験結果
著者らは13台のロボットで17か月かけて約13万件の実演を集め、744種類の指示を含むデータを作った。訓練環境と二つのオフィスキッチンで、計3000回超の実機試行を用いて評価している。成功率は、指示された作業を完了した試行の割合である。
論文は、700種類超の学習済み指示で成功率97％と報告する。新しい作業、妨害物、背景への一般化は、次点の比較対象よりそれぞれ25％、36％、18％良いと述べる。これらは論文の実機、作業、評価設定での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：オフィス内の決まった作業台で、容器を指定位置へ移す作業を検討する。入力は作業台を映す画像の履歴と「容器をトレーに置く」という指示、出力はロボットの腕や移動台への動作命令とする。
担当者が対象物の配置を変えた場面も記録し、成功した実演を学習データとして整理する。運用時は指示ごとに成功したかを人が確認し、失敗映像を集める。これは論文で実証された用途の一般化ではなく、同じ入出力形式を用いた検討案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず作業台で行う一種類の移動作業を決め、指示文、画像、完了判定を記録する。比較の基準には、現在の作業手順または作業ごとに作った制御方法を置き、同じ物体配置で試す。
その後、物体の位置、背景、指示の言い回しを一つずつ変える。各条件での完了率、誤った物体を扱う回数、動作命令が間に合う割合を測る。失敗時の停止と人による介入も記録し、通常条件の成績だけで採用を決めない。
限界と課題
著者らは、実世界のロボットデータを集める難しさと、制御には速く安定した推論が必要なことを課題としている。実験も特定の移動マニピュレータと、訓練用環境および二つのオフィスキッチンを中心に行われた。
導入時の確認事項は、対象物や照明が変わった場合の失敗率、動作が止まる条件、接触を伴う失敗の扱いである。著者らの成功率はその実験条件に属する数値であり、別の機体や作業場所で同じ結果になることまでは示していない。
出典
元のタイトル・要旨を確認する（英語）
RT-1: Robotics Transformer for Real-World Control at Scale
By transferring knowledge from large, diverse, task-agnostic datasets, modern machine learning models can solve specific downstream tasks either zero-shot or with small task-specific datasets to a high level of performance. While this capability has been demonstrated in other fields such as computer vision, natural language processing or speech recognition, it remains to be shown in robotics, where the generalization capabilities of the models are particularly critical due to the difficulty of collecting real-world robotic data. We argue that one of the keys to the success of such general robotic models lies with open-ended task-agnostic training, combined with high-capacity architectures that can absorb all of the diverse, robotic data. In this paper, we present a model class, dubbed Robotics Transformer, that exhibits promising scalable model properties. We verify our conclusions in a study of different model classes and their ability to generalize as a function of the data size, model size, and data diversity based on a large-scale data collection on real robots performing real-world tasks. The project's website and videos can be found at robotics-transformer1.github.io
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29