アーカイブ / VLM / Robotics
物体の位置を先に学び、作業指示から動作を作るロボットAI「ST4VLA」
ST4VLA
ST4VLAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: ST4VLA integrates spatial priors into the vision–language–action training pipeline. Given a task instruction, the VLM planner produces latent plans through explicit spatial prompting, which then effectively guides the action expert to generate control signals.
概要
- 点・枠・軌跡の予測で位置関係を先に学び、作業指示に応じた空間情報をロボットの動作生成へ渡す。
- 著者らのSimplerEnv評価では、Visual Matching条件の平均成功率がGoogle Robotで66.1％から84.6％、WidowXで54.7％から73.2％になった。
- 実機評価では、シミュレーションデータと23物体・5容器の実演1000軌跡で追加学習し、表の複数条件で平均成功率65％を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ST4VLAの仕組み
- 01画像・作業指示
- 02空間指示で位置把握
- 03空間特徴を橋渡し
- 04制御信号を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ST4VLAは、画像と作業指示からロボットの動作を作る手法である。視覚言語モデル（VLM）は画像と言葉を結び付けて扱うが、ロボットには「何をするか」に加え、対象がどこにあり、どう動かすかを決める能力が要る。
著者らは、一般的なVLMの学習には文章と細かなロボット動作を結び付けた例が乏しいと指摘する。位置関係を捉える知識を、実機ごとに異なる動作の学習へどうつなぐかが課題となる。
手法
まずVLMに、画像中の点、物体を囲む枠、移動の軌跡を予測させる。一般の画像と言語のデータとロボット向けデータを使い、後者も質問と回答の形式にそろえる。たとえば玩具を箱へ入れる場面では、玩具と箱の位置関係を捉えるための学習に当たる。この段階は制御信号の生成ではなく、空間を捉える能力の学習である。
次にロボットの動作実演で動作生成側を学ぶ。作業指示に「必要な玩具と箱との位置関係を特定する」といった空間的な指示を加え、VLM内部の空間特徴を橋渡し用のモデル経由で動作生成側へ渡す。動作生成側はその情報を条件に実機向けの制御信号を出す。学習時には、動作側からVLMへ戻る学習信号を弱める。
新規性
ST4VLAは、物体の位置や移動経路を捉える学習を先に行い、その知識を動作学習中に空間的な指示で呼び出す。著者らは、動作データだけで学習すると位置を捉える能力が低下し、空間データとの単純な同時学習では二つの学習目標がそろいにくいと報告する。
計画側の内部情報を動作生成側へ渡しつつ、動作側から戻る学習信号を弱める構成も特徴である。位置を捉える能力を保ちながら制御を学ぶことを狙っている。
従来手法との違い
Vanilla VLAは、事前学習済みの視覚言語モデルを動作データで追加学習する。Vanilla Co-training VLAは空間データと動作データを同時に学ぶ。著者らの予備実験では、前者の位置把握性能は低下し、後者の知覚性能と操作成功率は学習中に変動した。
ST4VLAは空間学習を前段に置き、動作学習にも空間的な指示を加える。表の最終結果はこの構成全体の比較であり、個々の仕組みだけによる改善幅とは読めない。
実験結果
著者らは、照明や視点などを変えるシミュレーション環境SimplerEnvで作業成功率を評価した。Visual Matching条件の平均は、Google RobotでVanilla VLAの66.1％に対しST4VLAが84.6％、WidowXで54.7％に対し73.2％だった。
学習目標の勾配の向きを比べるPSSは、通常の同時学習で0.25、空間指示を使う学習で0.42と報告された。実機の物品移動では、23物体・5容器の実演1000軌跡とシミュレーションデータで追加学習し、表に示された複数条件の平均成功率はST4VLAが65％、GR00T N1.5が48％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業台の指定品を容器へ移す一工程に適用する。カメラ画像と「赤い品物を右の容器へ」という指示を入力し、対象と容器の位置関係を踏まえたロボットの制御信号を出す流れを想定する。現場での成功率は別途確かめる必要がある。
適応には、対象品と容器を写した画像、指示文、点・枠・軌跡などの位置ラベル、実機の動作実演が必要になる。カメラ視点や物品の種類、実機の制御形式に合わせて追加学習する案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：品物を容器へ移す一工程を選び、固定したカメラ視点で画像と指示文を集める。対象の点・枠・軌跡のラベルと実機の動作実演も用意し、空間学習と実機向け動作学習を行う。同じ動作実演で学ぶ動作データのみの構成を比較対象とする。
評価には学習に使わない配置、似た品物、言い換えた指示を分けて用意する。条件別の作業成功率、対象位置の判定精度、誤把持の回数を測り、どの条件で差が出るかを確認する。
限界と課題
確認できた本文の範囲では、著者が明示した運用上の限界は確認できない。実機の物品移動では23種類の物体と5種類の容器を含む動作実演による追加学習が報告されている。別の物品や作業場で同じ成功率になるとは、この結果からは判断できない。
編集上の検証事項は、対象が隠れる場面、似た物品が並ぶ場面での誤認識、失敗後の復帰、作業時間である。長い手順の実験も記載されているが、確認できた本文には図の条件別数値がなく、連続運転の達成率は評価できない。
出典
元のタイトル・要旨を確認する（英語）
ST4VLA: Spatially Guided Training for Vision-Language-Action Models
Large vision-language models (VLMs) excel at multimodal understanding but fall short when extended to embodied tasks, where instructions must be transformed into low-level motor actions. We introduce ST4VLA, a dual-system Vision-Language-Action framework that leverages Spatial Guided Training to align action learning with spatial priors in VLMs. ST4VLA includes two stages: (i) spatial grounding pre-training, which equips the VLM with transferable priors via scalable point, box, and trajectory prediction from both web-scale and robot-specific data, and (ii) spatially guided action post-training, which encourages the model to produce richer spatial priors to guide action generation via spatial prompting. This design preserves spatial grounding during policy learning and promotes consistent optimization across spatial and action objectives. Empirically, ST4VLA achieves substantial improvements over vanilla VLA, with performance increasing from 66.1 -> 84.6 on Google Robot and from 54.7 -> 73.2 on WidowX Robot, establishing new state-of-the-art results on SimplerEnv. It also demonstrates stronger generalization to unseen objects and paraphrased instructions, as well as robustness to long-horizon perturbations in real-world settings. These results highlight scalable spatially guided training as a promising direction for robust, generalizable robot learning. Source code, data and models are released at https://internrobotics.github.io/internvla-m1.github.io/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01