アーカイブ / VLM / Robotics
小型モデルと非同期実行でロボット制御を軽くするSmolVLA
SmolVLA
はさみの印は、視覚言語モデルの後半の層を使わない構成を表します。文章・画像・ロボットの状態をまとめ、その特徴を行動生成部へ渡して、連続する動作を出力します。
原論文の図の説明を読む
Figure 1 : SmolVLA. SmolVLA consists of a compact pretrained vision-language model, discarding the last L − N L-N layers (scissors icon). The remaining layers embed three inputs: (i) language instruction, (ii) RGB image(s), and (iii) robot sensorimotor state. Their merged tokens feed an Action Expert of alternating cross-attention (gold) and self-attention (light yellow) blocks, trained with flow matching to output n n low-level actions chunk a t , … , a t + n a_{t},\dots,a_{t+n} . SmolVLA is pretrained on public community datasets and evaluated on low-cost robots.
概要
- SmolVLAは小型の視覚言語モデルと連続動作生成部を組み合わせ、画像表現と使用層数を減らす。
- 動作の実行中に次の動作列を予測する非同期方式で、計算待ちと予測頻度のバランスを調整する。
- 事前学習は481データセット・約2.29万試行を使用するが、提供抜粋だけでは課題別の性能差を確認できない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SmolVLAの仕組み
- 01画像+言語指示
- 02小型の視覚言語モデル
- 03連続する動作をまとめて予測
- 04実行中に次の動作列を用意
たとえばロボットが動いている時間も、次の動作列を計算する時間として利用する。
動作の実行と次の推論を順番に待つと、計算待ちが入りやすい。
予測と実行を非同期に進める構成で、動作の流れをつなぐ。
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
視覚言語モデルは画像と文章を扱い、そこへロボットの動作出力を加えたものが視覚言語行動モデル、VLAである。指示と見た目を制御へ結び付けられる一方、大きなモデルでは学習費用と推論待ちが導入の障害になる。
SmolVLAは、手頃なロボットで収集されたデータも活用し、小規模な計算環境で扱える構成を目指す。作業の応答性を左右する、動作生成と実行のつなぎ方も対象にする。
手法
SmolVLM-2を基盤に、画像、言語指示、センサーで得たロボット状態を内部表現へ変換する。画像は1フレーム64トークン、つまり64個の処理単位へ抑え、言語処理部は途中の層まで使う。その特徴から動作生成部がフローマッチングという、ノイズを動作列へ移す変化を学ぶ方式で連続制御値を出す。
例えば物をトレーへ移す場合、複数時点の指令を動作チャンクとしてまとめて生成し、待ち行列へ入れる。残りの指令が閾値を下回ると、新しい観察を送って次の予測を非同期で開始する。その間も既存の指令を実行し、届いた動作列は重なる時間部分を統合する。似た状態の観察は除外し、不要な予測要求を減らす。
新規性
提案の特徴は、小型の事前学習モデル、画像表現の圧縮、後半層の省略、軽量な動作生成部を組み合わせ、制御までの計算を減らす設計にある。コミュニティ収集データを事前学習に利用する点も柱となる。
加えて、モデル内部の軽量化と実行系の待ち時間削減を併せて扱う。認識・予測と実際の動作を分離し、残っている動作を実行しながら次を生成する。
従来手法との違い
既存の同期実行では、まとめて予測した動作を使い切ってから次を生成するため、その計算中にロボットが待つ。一方、毎制御周期で予測する方式は観察を頻繁に反映できるが、計算負担が大きい。
SmolVLAは残り動作数に応じて次の予測を先に開始し、応答性と計算量を調整する。動作生成部でも、画像・指示を参照する注意機構と、動作同士を参照する注意機構を交互に配置する。
実験結果
提供抜粋のデータ表では、事前学習に481データセット、約2.29万エピソード、1,060万フレームを使用する。エピソードは一回の試行のまとまりである。表の説明文には単位の不整合があるため、これらは表中の列名と値に基づく。
著者らは要旨で、シミュレーションと実機で評価し、10倍大きいVLAに匹敵する性能を得たと述べる。ただし、提供抜粋には評価結果表、課題別成功率、比較機器条件がなく、その主張を数値で吟味するには情報が足りない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:卓上で小物を指定トレーへ移す作業を対象にする。入力は複数視点の画像、関節などのロボット状態、「部品をトレーへ置く」という指示で、出力は短い連続動作列とする。
人の実演で対象作業へ調整し、実行中の動作が残っている段階で最新観察から次の列を予測する。担当者は成功率と動作の途切れを確認し、同じモデルでも同期・非同期の違いが作業時間へどう影響するかを見る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象物と配置を限定した一つの移載作業から始める。収集画像の視点、状態量、動作表現、指示文をそろえ、同じ学習済みモデルを同期実行と非同期実行で比較する。
成功率、完了時間、待ち行列が空になった時間、予測呼び出し回数、観察から指令反映までの遅延を測る。次の予測を始める閾値を変え、計算量の増加に対して待ち時間がどれだけ減るかを確認する。
限界と課題
著者らは、コミュニティデータの曖昧な作業指示とカメラ名の不統一を課題として挙げる。指示の自動補完と視点の手動対応付けを行っており、公開データをそのまま混ぜればよいわけではない。
編集上は、CPU利用時の実測速度、通信遅延の変動、細部が重要な物体での画像圧縮の影響を確認したい。動作待ちを避ける閾値の解析は通信時間が推論時間より小さいとの仮定を含み、現場での成立確認が必要である。
出典
元のタイトル・要旨を確認する(英語)
SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics
Vision-language models (VLMs) pretrained on large-scale multimodal datasets encode rich visual and linguistic knowledge, making them a strong foundation for robotics. Rather than training robotic policies from scratch, recent approaches adapt VLMs into vision-language-action (VLA) models that enable natural language-driven perception and control. However, existing VLAs are typically massive--often with billions of parameters--leading to high training costs and limited real-world deployability. Moreover, they rely on academic and industrial datasets, overlooking the growing availability of community-collected data from affordable robotic platforms. In this work, we present SmolVLA, a small, efficient, and community-driven VLA that drastically reduces both training and inference costs, while retaining competitive performance. SmolVLA is designed to be trained on a single GPU and deployed on consumer-grade GPUs or even CPUs. To further improve responsiveness, we introduce an asynchronous inference stack decoupling perception and action prediction from action execution, allowing higher control rates with chunked action generation. Despite its compact size, SmolVLA achieves performance comparable to VLAs that are 10x larger. We evaluate SmolVLA on a range of both simulated as well as real-world robotic benchmarks and release all code, pretrained models, and training data.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29




