アーカイブ / VLM / Robotics
質の異なる実演から、将来の報酬を見込んでロボットを動かすReinboT
ReinboT
ReinboTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The proposed ReinboT model. We leverage CLIP ( Radford et al., 2021 ) to encode robot language instructions, utilize ViT ( Dosovitskiy et al., 2020 ; He et al., 2022 ) (and perceiver resampler ( Jaegle et al., 2021 ) ) to compress and encode the original pixel space of the image state, and utilize MLP to encode the robot proprioception. Moreover, based on the GPT-style transformer ( Radford, 2018 ) , we introduce three prediction token embeddings ([RTG], [ACTION] and [IMAGE]) to predict ReturnToGo, robot action, and future image state respectively. The last layer of hidden features in ReturnToGo decoder is further utilized to predict robot actions. The dense reward in ReturnToGo contains four aspects: sub-goal achievement, task progress, behavior smoothness and task completion.
概要
- ReinboTは実演をサブ目標に分け、到達度・進捗・滑らかさ・指示達成から報酬を計算し、残余収益の予測を行動学習に使う。
- 著者らのCALVIN環境Dでの評価では、平均達成長はReinboTの密な報酬・成分別予測で2.26、GR-1で1.36だった。
- 実務適用には画像・関節・把持器の記録と成否付き軌跡を用意し、対象作業で成功率と動きの安定性を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ReinboTの仕組み
- 01実演画像・関節記録
- 02サブ目標に分割
- 03密な報酬を計算
- 04残余収益を学習
- 05腕・把持器の行動
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ReinboTは、指示文と画像からロボットの操作を決める視覚・言語・行動モデルを、質の異なる実演から学ばせる方法だ。実演には成功例でも動き方の差があり、行動の模倣だけではその差を学習に生かしにくい。
物をつかんで運ぶ作業では、最終的な成否に加えて途中の到達度や動き方も重要になる。著者らは収集済みの軌跡から各時点の報酬を計算し、先の成果を見込む予測を行動学習に加えた。
手法
学習時には、関節速度がほぼゼロになる点と把持器の状態が変わる点を手掛かりに、実演をサブ目標ごとに分ける。例えば物をつかんで置く軌跡なら、把持前後の状態を区切りの候補にする。各時点の報酬は、画像・関節状態がサブ目標に近いか、作業がどこまで進んだか、動きが滑らかか、指示を達成したかから計算する。
その時点から軌跡の終わりまでの報酬の合計を残余収益と呼ぶ。モデルは指示文、画像、関節状態を受け、残余収益、腕と把持器の行動、次の画像を学習時に予測する。残余収益の学習では高い値を重視する回帰法を使い、実行時には予測器の内部情報を行動予測へ渡す。
新規性
ReinboTは、実演をサブ目標ごとに分け、到達度・作業の進捗・動きの滑らかさ・指示の達成から各時点の報酬を作る。その先の報酬の合計を予測し、実演の質を行動学習に反映させる。
予測した残余収益の内部情報を行動予測にも渡す構成が特徴だ。著者らによれば、実行時に目標収益を手で指定せず、１回のモデル推論で行動を得られる。
従来手法との違い
通常の模倣学習は記録された行動を再現するよう学ぶ。ReinboTは同じ実演から将来の報酬も学び、質の異なる軌跡を行動選択に反映させる。比較対象には模倣学習手法のGR-1と、収集済みデータを使う強化学習手法のRWRが含まれる。
著者らは疎な報酬と密な報酬も比較した。さらに密な報酬について、残余収益を単一の値で予測する構成と、総量に各報酬成分を加えたベクトルで予測する構成を比べている。
実験結果
著者らはCALVINで、環境ABCの作業ごとに約50軌跡の指示付きデータ、指示なしの人手操作２万軌跡超、環境Dで自律実行して得た失敗を含む１万軌跡超を使った。混合データで学習し、少量の指示付きデータで調整した後、環境Dで連続指示を評価した。
表１の平均達成長はReinboTの密な報酬・成分別予測で2.26、GR-1で1.36、RWRの密な報酬・単一値で1.82。５指示を連続達成した割合は順に0.21、0.10、0.11だった。表２では残余収益の情報を除くと平均達成長が1.36になった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上の部品をつかみ、指定位置に置く作業を対象にする。作業指示文、カメラ画像、関節状態、把持器の状態を入力し、次の腕と把持器の操作を出力する。
適応には、行動と時刻が対応した実演軌跡、成功・失敗の記録、指示文付きの学習例が要る。関節速度と把持器の変化から区間を分け、画像と関節状態を使って報酬を計算する。この用途での改善は未検証の仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業を一つ選び、同じカメラと関節・把持器の記録から、行動と時刻が対応した成功・失敗の軌跡を集める。作業指示文と成否のラベルを付け、サブ目標の区切りと報酬が記録上の作業段階に合うか点検する。
同じ学習用データで行動模倣モデルとReinboT方式を作り、未使用の初期配置で比較する。作業成功率、連続達成数、動きの急変、１操作当たりの推論時間を測る。報酬成分を外した比較も行い、差がどの設計に伴うか確認する。
限界と課題
著者らは、残余収益の予測で高い値を重視し過ぎると、学習データで到達できる値を楽観的に見積もり、行動生成に悪影響が出ると述べる。報酬成分の重みは、実演間で値の桁をそろえる設計としている。
編集上の検証事項は、新しい作業でも関節速度や把持器の変化で適切なサブ目標を区切れるか、照明や遮蔽が画像による到達度の判定を乱さないかである。要旨は実機での優位性に言及するが、確認できた本文の範囲では実機評価の条件と数値は示されていない。
出典
元のタイトル・要旨を確認する（英語）
ReinboT: Amplifying Robot Visual-Language Manipulation with Reinforcement Learning
Vision-Language-Action (VLA) models have shown great potential in general robotic decision-making tasks via imitation learning. However, the variable quality of training data often constrains the performance of these models. On the other hand, offline Reinforcement Learning (RL) excels at learning robust policy models from mixed-quality data. In this paper, we introduce Reinforced robot GPT (ReinboT), a novel end-to-end VLA model that integrates the RL principle of maximizing cumulative reward. ReinboT achieves a deeper understanding of the data quality distribution by predicting dense returns that capture the nuances of manipulation tasks. The dense return prediction capability enables the robot to generate more robust decision-making actions, oriented towards maximizing future benefits. Extensive experiments show that ReinboT achieves state-of-the-art performance on the CALVIN mixed-quality dataset and exhibits superior few-shot learning and out-of-distribution generalization capabilities in real-world tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01