アーカイブ / VLM / Robotics
画像と言葉をロボットの連続動作につなぐWALL-OSSの二段階学習
WALL-OSS
WALL-OSSの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Current VLMs lack a sufficient understanding of space and action within embodied AI. This deficiency stems from a mismatch between the capabilities of existing pre-trained VLMs and the specific knowledge required for embodied tasks. WALL-OSS unleashes the embodied potential of VLMs, leading to enhanced embodied understanding and the ability to generate complex actions.
概要
- WALL-OSSはカメラ画像と指示から、小作業の計画と連続したロボット動作を扱うモデルである。
- 画像・言語理解と区切った動作記号を先に学び、次に連続動作の生成を学ぶ。
- 著者らは視覚質問応答と操作課題を評価対象とするが、確認できた本文の範囲では結果の数値を検証できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、WALL-OSSの仕組み
- 01カメラ画像と指示
- 02画像と言葉を統合
- 03小作業を組み立て
- 04腕の連続動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
WALL-OSSは、カメラ画像と文章の指示を受け、ロボットが実行する動作を作る手法である。画像・言語モデル（VLM）は画像について答えられても、腕を動かすための位置関係や連続した動作まで十分に扱えるとは限らない。
著者らは、通常の画像とロボット視点の画像の違い、指示と動作を対応付けた学習記録の少なさを課題に挙げる。複数の手順を含む指示では、何を先に行い、作業がどこまで進んだかを動作と結び付ける必要がある。
手法
入力はロボット視点や腕に付けたカメラの画像と文章の指示である。最初の学習段階では、視覚質問応答（画像についての問いに答える学習）で位置や作業の進み具合を扱い、動作列を区切った記号の予測も学ぶ。例えば「皿を中央に置く」なら、皿と置き先を画像から捉え、動作の大まかな対応を覚える。
次の段階では記号の予測を連続動作の生成へ切り替える。フローマッチングという、雑音を含む動作データを目標の動作へ近づける学習法を使い、まず動作側を、次に画像・言語側も合わせて調整する。推論の文章や小作業を経由する場合と、指示から直接動作を出す場合の両方を学ぶ設計である。
新規性
著者らが提案するのは、画像・言語の理解、指示の推論、小作業への分解、連続動作の生成を一つのモデルで学習する構成である。途中の推論を使う経路と、指示から動作へ直接進む経路の両方を扱う。
画像・言語用と動作用の計算部分を固定の振り分けで使い分け、両者の情報を結び付ける。離散的な動作記号から連続動作へ進む学習順序も、この構成の一部である。
従来手法との違い
本文は、事前学習済みの画像・言語モデルに動作予測を直接加える方式と、動作予測を別の枝に置く方式を比較対象として説明する。著者らは、前者では元の能力が損なわれ、後者では指示と動作の結び付きが弱まり得ると論じる。
計画器と制御器を分ける方式に対し、WALL-OSSは小作業の計画と動作を同じモデルで学ぶ。これらは構成上の比較であり、確認できた本文の範囲では、各方式との性能差を示す数値は確認できない。
実験結果
著者らは、ロボット作業の動画から選んだ画像を使い、場面の説明、指示された物体の画像上での位置特定、次の行動の計画を人手で評価すると記す。比較対象は事前学習済みWALL-OSSと、基になったQwen2.5-VL-3Bである。
操作課題には、色に合わせた配置、ブロックで答えを綴る作業、食卓の準備がある。それぞれ微調整用に500、1600、1500エピソードを使う。別の指示による物の移動は微調整から除き、追加学習なしで評価する。確認できた本文の範囲では結果表と成功率を確認できず、著者らの優位性の主張を数値で検証できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上で部品を指定の色のトレーへ移す作業を想定する。作業場所のカメラ画像と「青い部品を青のトレーへ」という指示を入力し、対象と置き先の判断、小作業の記述、腕の動作列を出力する。実行後の画像を次の判断に使う流れを検討する。
対象の腕とカメラで、画像、指示、時刻をそろえた動作記録を集める必要がある。部品とトレーの位置、小作業の段階にラベルを付け、画像の視点、座標系、動作の記録間隔をそろえて対象環境へ適応させる。実用性は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：卓上の色分け作業を一つ選び、対象の腕とカメラで画像、文章の指示、時刻をそろえた動作記録を集める。部品と置き先の位置、小作業の段階にラベルを付け、座標系と動作の記録間隔をそろえて学習用と評価用に分ける。
同じ記録で、段階の説明を介さず動作を予測する方式も学習させ、比較基準とする。未見の配置で位置特定、置き先の選択、作業完了の割合を同じ条件で測り、手順の取り違えも記録する。改善の有無は、この作業と評価条件に限って判断する。
限界と課題
著者らは、既存の画像・言語モデルにはロボット視点の画像や空間理解との隔たりがあり、画像・指示・動作を対応付けたデータも限られると述べる。これらは研究の出発点として挙げた課題であり、WALL-OSS自体の失敗率を示すものではない。
編集上の検証事項は、未知の部品、遮蔽、曖昧な指示、作業途中で物が動く状況での挙動である。別の腕やカメラへの適応に必要な記録量、安全に停止できる条件も確認したい。確認できた本文の範囲では、これらの定量評価は読めない。
出典
元のタイトル・要旨を確認する（英語）
Igniting VLMs toward the Embodied Space
While foundation models show remarkable progress in language and vision, existing vision-language models (VLMs) still have limited spatial and embodiment understanding. Transferring VLMs to embodied domains reveals fundamental mismatches between modalities, pretraining distributions, and training objectives, leaving action comprehension and generation as a central bottleneck on the path to AGI. We introduce WALL-OSS, an end-to-end embodied foundation model that leverages large-scale multimodal pretraining to achieve (1) embodiment-aware vision-language understanding, (2) strong language-action association, and (3) robust manipulation capability. Our approach employs a tightly coupled architecture and multi-strategies training curriculum that enables Unified Cross-Level CoT-seamlessly unifying instruction reasoning, subgoal decomposition, and fine-grained action synthesis within a single differentiable framework. Our results show that WALL-OSS attains high success on complex long-horizon manipulations, demonstrates strong instruction-following capabilities, complex understanding and reasoning, and outperforms strong baselines, thereby providing a reliable and scalable path from VLMs to embodied foundation models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01