アーカイブ / VLM / Robotics
画像と言葉から連続動作を作る汎用ロボット方策π₀
π₀
π₀の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2: 𝝅 𝟎 \bm{\pi_{0}} controls a mobile manipulator to fold laundry. Our model is pre-trained on diverse data from 7 distinct robot configurations and 68 tasks, and can then be used in zero-shot or fine-tuned to complex downstream tasks, as in the case of this laundry folding policy, which fetches laundry from a dryer, packs it into a hamper, brings the hamper to a folding table, and then folds each article of clothing.
概要
- 視覚言語モデルに動作生成部分を加え、画像・指示・関節状態から連続動作を作る。
- 著者らは7種類のロボット構成と68作業を含む、1万時間超の動作データを事前学習に用いた。
- 洗濯物畳みなどを評価対象とするが、確認できた本文の範囲では作業別の成功率は確認できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、π₀の仕組み
- 01画像・指示・関節状態
- 02視覚言語で状況把握
- 03動作列を生成
- 04ロボットの動き
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ロボットに新しい作業を覚えさせるには、動作例を集める手間がかかる。特に衣類を折るような作業は、対象の形が毎回変わり、腕の動きを細かく調整しなければならない。一つの作業だけで学習すると、別の物体や配置へ広げにくい。
π₀は、多様なロボットと作業から学び、画像と言葉を使って動作を決める基盤を作る研究である。実際の現場で使うには、一般性と個別作業の確実さの両方が問われる。
手法
π₀は複数のカメラ画像、言葉による指示、ロボットの関節状態を受け取る。視覚言語モデルとは画像と文章を一緒に扱うモデルで、ここでは事前学習済みのPaliGemmaを土台にする。そこへ動作専門の部分を追加し、将来の動作を連続した数値のまとまりとして出力する。例えば「衣類を畳む」という指示に対し、見えている布の状態と現在の腕の位置から次の動き方を作る。
動作生成にはフローマッチングという手法を使う。乱れた数値を段階的に整え、条件に合う動作列へ変える考え方である。論文の設定では50時点分の動作を一まとまりで扱う。学習は多様な作業例による事前学習の後、必要な作業について選別した動作例で追加学習する。出力は説明文ではなく、ロボットが実行する連続動作である。
新規性
著者らの提案は、事前学習済みの視覚言語モデルに、ロボットの動作を生成する専用部分を加えた構成にある。言葉と画像の理解を土台としつつ、連続した動作をフローマッチングで生成する。さらに、異なる構造のロボットから集めた動作データを一つのモデルで学習する。
広い作業を学ぶ事前学習と、特定作業を磨く追加学習を組み合わせ、細かな操作へ適用した点を著者らは重視する。
従来手法との違い
従来の視覚言語行動モデルには、ロボットの動作を文章の単語のような離散的な記号に変えて順に出す方式がある。π₀は将来の動作を連続値のまとまりとして生成し、高頻度の細かな操作を扱う設計である。
論文では、視覚言語モデルで初期化しない小型版π₀-smallなども比較対象に置く。ただし、確認できた本文の範囲では、作業別の成功率や比較表の数値を確認できない。構成上の違いから、個別作業での優位の大きさを推定することはできない。
実験結果
著者らは、独自に集めた7種類のロボット構成・68作業のデータと外部のロボットデータを組み合わせ、1万時間を超える動作データで事前学習したと記す。単腕、双腕、移動できるロボットを含み、評価対象には事前学習後の指示追従、追加学習後の洗濯物畳み、食卓の片付け、箱の組み立てなどがある。
モデルは約33億パラメータで、動作専門部分が約3億パラメータ。論文は最大50Hzの制御を扱う構成を説明する。確認できた本文の範囲では、作業別の試行回数、成功率、比較法との差を示す最終結果は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：洗濯物を一枚ずつ畳む工程を対象に、作業指示、カメラ画像、関節状態を入力し、次の短い動作列を出力する。作業者が見守る環境で、衣類を置く、折るという段階ごとの結果を記録し、失敗時には停止して状態を確認する。
対象物を一種類から始め、配置やしわの違いを加えて試す。実際の工程へ移す判断には、成功率だけでなく、やり直しや人の介入がどれだけ必要かを含める。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の物体を移す、または折る工程を選び、同じ開始状態と成功条件で、既存の作業専用の制御方法とπ₀型の方策を比べる。入力する画像、指示、関節状態を記録し、配置を少しずつ変えた試行を用意する。
完了率、所要時間、人の介入回数、失敗後に作業へ戻れた割合を測る。追加学習に使った動作例の量も記録し、作業条件が変わるたびに必要な準備と性能の変化を確認する。
限界と課題
著者らは、汎用ロボット学習の課題としてデータ量、未知条件への一般化、頑健性を挙げる。また、複雑な作業には事前学習だけでなく、質を選んだ作業別データでの追加学習や、上位の視覚言語モデルによる中間指示を使っている。
編集上の確認事項は、現場の物体や配置が学習データと異なるときの成功率、失敗後の回復、停止条件である。確認できた本文の範囲では比較実験の最終数値がないため、実用水準や他方式との差は現場試験で判断する必要がある。
出典
元のタイトル・要旨を確認する（英語）
$π_0$: A Vision-Language-Action Flow Model for General Robot Control
Robot learning holds tremendous promise to unlock the full potential of flexible, general, and dexterous robot systems, as well as to address some of the deepest questions in artificial intelligence. However, bringing robot learning to the level of generality required for effective real-world systems faces major obstacles in terms of data, generalization, and robustness. In this paper, we discuss how generalist robot policies (i.e., robot foundation models) can address these challenges, and how we can design effective generalist robot policies for complex and highly dexterous tasks. We propose a novel flow matching architecture built on top of a pre-trained vision-language model (VLM) to inherit Internet-scale semantic knowledge. We then discuss how this model can be trained on a large and diverse dataset from multiple dexterous robot platforms, including single-arm robots, dual-arm robots, and mobile manipulators. We evaluate our model in terms of its ability to perform tasks in zero shot after pre-training, follow language instructions from people and from a high-level VLM policy, and its ability to acquire new skills via fine-tuning. Our results cover a wide variety of tasks, such as laundry folding, table cleaning, and assembling boxes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29