アーカイブ / Robotics / VLM
初めて入る家で片付けを進めるロボットモデルπ0.5
π0.5
学習時に含まれていなかった家庭のキッチンでの片付け例です。大まかな依頼を具体的な小作業へ分け、その小作業と実際の動作をつなげる様子を示しています。
原論文の図の説明を読む
Fig. 2 : π 0.5 \pi_{0.5} cleaning a new kitchen. The robot is tasked with cleaning a kitchen in a home that was not in the training data. The model is given general tasks (close the cabinets, put the items in the drawer, wipe the spill, and put the dishes in the sink), which it performs by both predicting subtasks to accomplish (e.g., pick up the plate) and emitting low-level actions.
概要
- π0.5は画像・指示・ロボット状態から次の小作業を予測し、それに沿った動作の列を出す。
- 約400時間の対象ロボットの家庭内データに加え、他のロボットやウェブ由来の画像・言語データを使って学習する。
- 著者らは、学習時に見ていない家で10～15分に及ぶ片付け操作を示したと報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、π0.5の仕組み
- 01室内画像と作業指示
- 02次の小作業を予測
- 03動作の列を予測
- 04ロボットの操作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
家庭や作業現場の片付けは、物をつかむだけでは終わらない。初めて見る部屋で何をどこへ移すか判断し、戸棚を閉め、別の物を拾うといった小さな作業を続ける必要がある。学習時と似た配置で動けても、新しい場所で同じように進められるとは限らない。
π0.5が扱う視覚・言語・動作モデルは、画像と指示を受けてロボットの動きを出す方式である。論文は、異なる経験を合わせて学ぶことで未知の家へ対応できるかを調べた。
手法
実行時の入力はカメラ画像、関節などのロボットの状態、作業全体の指示である。「台所を片付ける」なら、まず「皿を取る」のような意味のある小作業を文章として出し、続いてその小作業に沿う動作の列を予測する。動作の列とは、次の短い区間に行う操作をまとめたもので、進行に合わせて判断を繰り返す。
学習の前半では複数種類のロボット動作、画像への説明、物体の位置当てなどを混ぜる。後半では家庭内の移動型ロボットに合うよう追加学習し、動作を連続した数値として出す仕組みを加える。この仕組みを論文はフローマッチングと呼ぶ。
新規性
π0.5は、複数のロボットによる動作例、画像と文章を含むウェブ由来の例、作業を小さな段階に分けた指示を、同じモデルの学習に取り込む。実行時には同じモデルが次の小作業を言葉で決め、その小作業を行うための動作を出す。
著者らは、この組み合わせによって、学習時に見ていない家でも台所や寝室の片付けのような長い作業を実行できることを示したと主張する。
従来手法との違い
基になったπ0や一般的な視覚・言語・動作モデルは、見た場面と指示から動作を出す。論文が挙げる従来の二段階方式には、作業計画を作るモデルと動作を出すモデルを別々に置くものがある。π0.5は一つのモデルで両方を推定する。
学習の面では、目標とする移動型ロボットの家庭内データだけに頼らず、固定されたロボットの動作例や物体を見つける画像の例も利用する。論文は、異なる種類の経験を移すことが新しい家への対応に重要だったと報告する。
実験結果
著者らは、学習に含まれない家の台所や寝室で、片付けなど複数段階の操作を評価した。論文で示す対象には、食器を流しに入れる、タオルを掛ける、ベッドを整える作業がある。10～15分に及ぶ操作が可能だったと報告している。
学習に使った移動型ロボットの家庭内データは、約100の住宅環境から集めた約400時間分で、学習前半の例の97.6％はこの対象ロボットの家庭内作業以外から来る。確認できた本文の範囲では、個々の作業の成功率を比較できる数値は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：研究施設の模擬居室で、片付け手順をロボットがどこまで自力で進められるか調べる。入力は室内カメラの画像、ロボットの姿勢情報、「食器を流しに入れる」といった作業指示。出力は次に行う小作業の文と、それに続く動作の列である。
作業者は対象物と立ち入り範囲を決めて開始し、ロボットが出した小作業と実際の動きを記録する。途中で対象を取り違えた場合は停止して記録し、どの判断から失敗したかを後で確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を一部屋の片付けに絞り、移す物、置き場所、完了条件を人が先に定義する。現行の手順型制御を基準に、同じ配置と初めての配置で、指示から完了までを比較する。各試行では開始時の画像、出した小作業、動作、介入の有無を残す。
測る項目は完了率、所要時間、対象物の取り違え、途中停止からの復帰回数とする。特に新しい配置で落ちる工程を調べ、作業の範囲を広げる判断に使う。
限界と課題
著者らは、新しい家での長い片付け作業を示す一方、論文中の実験があらゆる住宅、物体、配置を網羅するとは述べていない。学習には目標とする移動型ロボットの家庭内データも約400時間含まれるため、異種データだけで同じ結果が得られるわけではない。
編集上の確認課題は、作業対象の取り違え、途中での復帰、人の近くでの動き、異なる部屋での成功率である。自社で使うロボットと作業環境への適合性は、この実験結果とは別に確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
$π_{0.5}$: a Vision-Language-Action Model with Open-World Generalization
In order for robots to be useful, they must perform practically relevant tasks in the real world, outside of the lab. While vision-language-action (VLA) models have demonstrated impressive results for end-to-end robot control, it remains an open question how far such models can generalize in the wild. We describe $π_{0.5}$, a new model based on $π_{0}$ that uses co-training on heterogeneous tasks to enable broad generalization. $π_{0.5}$\ uses data from multiple robots, high-level semantic prediction, web data, and other sources to enable broadly generalizable real-world robotic manipulation. Our system uses a combination of co-training and hybrid multi-modal examples that combine image observations, language commands, object detections, semantic subtask prediction, and low-level actions. Our experiments show that this kind of knowledge transfer is essential for effective generalization, and we demonstrate for the first time that an end-to-end learning-enabled robotic system can perform long-horizon and dexterous manipulation skills, such as cleaning a kitchen or bedroom, in entirely new homes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29