アーカイブ / VLM / Robotics
予測映像を使ってロボットの動作を追加学習するVLA-RFT：LIBEROでの結果と報酬設計の確認点
VLA-RFT
VLA-RFTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The Framework of VLA-RFT. A world model functions as a simulator that processes multi-rollout VLA action sequences to generate corresponding future states. By incorporating verified rewards through a GRPO optimization framework, we perform end-to-end updates of the VLA. Our approach achieves superior performance with remarkably fewer optimization steps—requiring only 0.4K iterations compared to 150K iterations for a strongly supervised baseline—demonstrating advantages in both standard and perturbed environments. Furthermore, the method exhibits enhanced execution-time robustness, characterized by reliable failure recovery and retry capabilities. For more details, please refer to our webpage .
概要
- VLA-RFTは、動作から未来映像を予測する世界モデル内で候補動作を評価し、ロボットの方策を追加学習する。
- LIBERO標準作業群の表では、平均成功率はBase（15w）の86.6％から、400回の追加学習後に91.1％となった。本文には91.3％という異なる記載もある。
- 条件を変えたLIBERO試験でも成功率の改善を報告するが、確認できた本文の範囲では実機での成功率は示されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VLA-RFTの仕組み
- 01開始画像・指示・状態
- 02動作列を生成
- 03未来映像を予測
- 04報酬で方策を更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VLAは、画像と言葉の指示からロボットの動作を決めるモデルである。手本の動作をまねて学習した方策は、実行中に位置が少しずれると、手本にない状況で次の判断を迫られ、誤りが重なることがある。
試した結果を評価して学ぶ強化学習は、この課題に対する一つの方法だが、実機で試行を増やすには費用と安全上の制約がある。著者らは、記録された画像と動作から未来の映像を予測するモデル内で候補動作を試す方法を提案した。
手法
まず、画像と動作の時系列から、動作に応じた次の映像を予測する「世界モデル」を学習する。別に、画像・指示・ロボット状態から連続した動作を出すVLAを、手本の動作で学習する。例えば物体を移す指示では、VLAが開始時の情報から動作列を出し、世界モデルがその動作後の映像を順に予測する。
追加学習では、動作生成にばらつきを加え、同じ開始状態から複数の候補を試す。予測した経過を目標達成の記録に基づいて評価し、候補ごとの報酬を比べてVLAを更新する。著者らがGRPOと呼ぶこの更新では、同じ組の平均報酬を基準にする。映像比較には画素の差と見た目の特徴の差を用いるが、採用した報酬で比較する二つの映像の作り方には本文内で説明の違いがある。
新規性
VLA-RFTは、記録済みの画像と動作から学んだ世界モデルを、方策が選んだ動作を試す場として使う。目標を達成した記録を参照し、予測映像の各時点から報酬を計算して方策を追加学習する。
動作生成にばらつきを加えて同じ開始状態から複数の候補を試し、その報酬を比較して更新する設計も特徴である。学習中の候補動作を実機で毎回試すことを前提としない。
従来手法との違い
基準は、手本の動作を使って教師あり学習した同じ基盤方策のBase（15w）である。VLA-RFTはそこに強化微調整を加え、方策自身が選んだ動作の予測結果を学習に使う。成功率の比較はLIBEROで行われた。
報酬設計の比較では、記録された動作との差を使う方式、方策の動作から予測した映像と記録映像を比べる方式、方策側と手本側の動作を同じ世界モデルで映像化して比べる方式を検証した。最後の方式が表では最も高い平均成功率を示す。
実験結果
著者らはLIBEROのSpatial、Object、Goal、Longで作業成功率（SR）を測った。表ではBase（15w）の平均86.6％に対し、VLA-RFT（400回の追加学習）は91.1％。本文には91.3％とも書かれており、平均値に不一致がある。報酬設計の比較表でも、採用方式は91.1％である。
条件を変えたLIBERO試験では、Goalの目標位置を±5 cm動かした場合に44.8％から51.5％、複合変更の小さい条件では63.5％から70.0％と報告する。世界モデルの生成映像と正解映像の比較では、四つの作業群の平均がMSE 0.0039、SSIM 0.906だった。いずれも実機での成功率を示す数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上の物体を指定位置へ移す一つの作業で、動作方策の追加学習を試す。入力はカメラの開始画像、作業指示、ロボット状態で、出力は動作列である。世界モデルが予測する映像は、その動作列を学習中に評価するために使う。
必要なのは、同じカメラとロボットから得た画像・状態・動作の時系列、指示文、目標達成を確認できる手本の記録である。これらに合わせて世界モデルと方策を学習し、予測上の評価が実際の作業結果と対応するか確認する。改善は仮説として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：物体移動の一作業に絞り、同じカメラによる開始時と実行中の画像、ロボット状態、動作指令、作業指示、達成判定を記録する。成功した試行を比較用の手本とし、その時系列で世界モデルと基盤方策を対象作業に合わせて学習する。
追加学習前の方策を基準に、同じ開始条件で作業成功率を比べる。次に物体の開始位置を変え、成功率と予測映像の正解映像との差を測る。報酬の比較対象となる映像をどう作るかも固定して記録し、予測上の高評価が実際の成功と一致するか確かめる。
限界と課題
著者らは背景として、手本をまねる学習での誤りの蓄積、実機で強化学習する費用と安全上の懸念、シミュレーターと実機のずれを挙げる。確認できた本文の範囲では、VLA-RFTを実機で評価した成功率は示されていない。
編集上の検証事項は、世界モデルの予測が誤ったときにも報酬が妥当か、カメラや対象物の条件を変えても結果が保たれるかである。報酬については、数式では予測映像と記録映像を比較する一方、報酬比較実験では採用方式を両方とも世界モデルで生成した映像の比較と説明している。再現時には設定の確認が要る。
出典
元のタイトル・要旨を確認する（英語）
VLA-RFT: Vision-Language-Action Reinforcement Fine-tuning with Verified Rewards in World Simulators
Vision-Language-Action (VLA) models enable embodied decision-making but rely heavily on imitation learning, leading to compounding errors and poor robustness under distribution shift. Reinforcement learning (RL) can mitigate these issues yet typically demands costly real-world interactions or suffers from sim-to-real gaps. We introduce VLA-RFT, a reinforcement fine-tuning framework that leverages a data-driven world model as a controllable simulator. Trained from real interaction data, the simulator predicts future visual observations conditioned on actions, allowing policy rollouts with dense, trajectory-level rewards derived from goal-achieving references. This design delivers an efficient and action-aligned learning signal, drastically lowering sample requirements. With fewer than 400 fine-tuning steps, VLA-RFT surpasses strong supervised baselines and achieves greater efficiency than simulator-based RL. Moreover, it exhibits strong robustness under perturbed conditions, sustaining stable task execution. Our results establish world-model-based RFT as a practical post-training paradigm to enhance the generalization and robustness of VLA models. For more details, please refer to https://vla-rft.github.io/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01