アーカイブ / Robotics / Computer Vision
四足ロボットが指示された物を探して運ぶまでをシミュレーションで学ぶ
SLIM
SLIMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2: Hierarchical Framework and Visuomotor Policy Pipeline (Left). Given a language instruction and various sensor information, the policy generates two control signals: 1) arm joint position targets and 2) a locomotion command. The first control signal is directly passed to the arm driver ( passthrough ), while the second signal is passed into a low-level locomotion policy to generate leg joint position targets. Low-Level and High-Level Teacher-Student Policy Training (Right). SLIM’s training pipeline can be decomposed into the following three sequential stages of policy training. First, a low-level locomotion policy is trained to track a specified locomotion command via RL. Next, a high-level teacher policy is trained with privileged information via RL to solve the long-horizon task. Finally, the student visuomotor policy is trained by distilling the teacher policy while maximizing task rewards, conditioned on visual inputs. Both the teacher and student policies use the same frozen locomotion policy from the first stage to execute their locomotion commands.
概要
- SLIMは、言語指示、手首カメラ画像、関節状態から四足ロボットの移動と腕・把持器を制御する。
- 歩行方策と、訓練時だけ物体情報や小作業の区切りを使う教師を学び、その行動と作業報酬を使って実機用の学生を学習する。
- 著者らは長い実機作業で約80％の成功率と、熟練者の遠隔操作に対して約1.5倍の作業速度を報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SLIMの仕組み
- 01指示・画像・関節値
- 02学生が移動と腕を指令
- 03歩行方策が脚を制御
- 04探索・把持・投入
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SLIMは、四足ロボットが言語指示に従い、物を探し、つかみ、運んで容器に入れるまでを扱う。複数段階の作業では、歩行と腕の操作を続けて成功させる必要があり、途中の失敗が作業全体に影響する。
実機で試行錯誤を繰り返す学習には、機体の制約や安全上の課題がある。著者らは、行動の結果に与える報酬から制御を学ぶ「強化学習」をシミュレーションで行い、学んだ制御を実機へ移す。
手法
実機用の学生方策は、言語指示、手首のRGBカメラ画像の連続した観測、関節状態を受け取る。方策とは観測から次の行動を決める仕組みである。学生は前進・旋回の速度と腕・把持器の指令を出し、歩行方策が速度指令を脚の関節目標へ変える。「物Aを容器Bへ入れる」指示なら、同じ学生方策が探索から投入までを担う。
学習は、歩行方策、教師方策、学生方策の順に進める。教師はシミュレーター内の物体情報と小作業の区切りを使い、段階が進むたびに専用方策を追加する。学生は教師の行動を写す「蒸留」と作業報酬による学習を併用し、物体の領域分割画像と距離画像の正解から視覚表現も学ぶ。実機では教師用の情報を入力せず、学生が画像などから判断する。
新規性
著者らが主張する進歩は、歩行と腕の制御をシミュレーション内の強化学習で習得し、人の実演軌跡や事前学習済みモデル、実機での追加学習を使わずに、複数段階の作業へ移した点にある。
長い作業の教師学習では、小作業が進むごとに専用の方策を追加する。実機用には、その複数の教師方策を、画像と指示から行動を決める一つの学生方策へまとめる。
従来手法との違い
著者らが近い研究として挙げるVBCは、人が対象物をクリックして初期の領域分割を行い、対象物がカメラ内に見え続ける条件で、持ち上げまでを扱う。SLIMは言語指示を受け、探索から把持、運搬、投入まで進める。
学生の学習では、教師の行動を写す「蒸留のみ」も比較対象として挙げられる。SLIMは蒸留に作業報酬による強化学習を加えるが、確認できた本文の範囲では、この比較の結果数値は示されていない。
実験結果
著者らは、探索、接近、把持、運搬、投入を含む長い作業を実機で評価し、成功率は約80％と報告する。同じ作業での熟練者による遠隔操作と同程度の成功率で、作業速度は遠隔操作の約1.5倍だったと述べる。屋内外の異なる場面や照明条件での動作も報告している。
学習や実機移行の手法を外す比較実験も行ったと記す。ただし、確認できた本文の範囲では、実機の試行数、物体や場面別の成績、速度の測定方法、比較実験の結果数値は確認できない。約80％と約1.5倍は、著者らが評価した作業条件での報告として扱う。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：研究室内で、指定した物を探して決まった容器へ入れる作業を試す。入力は「物Aを容器Bへ入れる」という指示、手首のRGBカメラ画像、関節状態で、出力は移動、腕、把持器への制御指令とする。
事前に対象物と容器を置いた作業環境をシミュレーションで作り、教師が使う物体情報と小作業の区切り、画像学習に使う物体領域と距離画像の正解を得る必要がある。現場の床や照明への適応方法と、この用途での成功率は別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象物、投入先、床面を限定し、指示から投入までを一つの作業として定義する。機体と腕、手首カメラを模したシミュレーションを用意し、教師用の物体情報と小作業の区切り、学生の画像学習用の物体領域と距離画像の正解を得る。
同じ作業を人が遠隔操作する場合を基準に、実機で成功率と完了時間を測る。照明と床面を変えた試行も行い、探索、把持、運搬、投入の各段階で失敗を記録する。シミュレーションと現場の差に対する調整の要否を確かめてから、対象物を増やす。
限界と課題
著者らは、使用機体の信頼性と性能の制約、脚上の腕が姿勢を不安定にすること、シミュレーションと実機の差を課題として述べる。また、教師の行動を学生に写すだけでは、長い実行中に学習時から外れた状態へ進み得ると説明する。
編集上の検証事項は、失敗が探索、把持、運搬、投入のどこに集中するか、床や照明の変化にどこまで対応できるか、接触時に安全に停止できるかである。確認できた本文の範囲では実機試行数や物体別の成績を確認できず、用途別の信頼性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
SLIM: Sim-to-Real Legged Instructive Manipulation via Long-Horizon Visuomotor Learning
We present a low-cost legged mobile manipulation system that solves long-horizon real-world tasks, trained by reinforcement learning purely in simulation. This system is made possible by 1) a hierarchical design of a high-level policy for visual-mobile manipulation following task instructions, and a low-level quadruped locomotion policy, 2) a teacher and student training pipeline for the high level, which trains a teacher to tackle long-horizon tasks using privileged task decomposition and target object information, and further trains a student for visual-mobile manipulation via RL guided by the teacher's behavior, and 3) a suite of techniques for minimizing the sim-to-real gap. In contrast to many previous works that use high-end equipments, our system demonstrates effective performance with more accessible hardware -- specifically, a Unitree Go1 quadruped, a WidowX-250S arm, and a single wrist-mounted RGB camera -- despite the increased challenges of sim-to-real transfer. Trained fully in simulation, a single policy autonomously solves long-horizon tasks involving search, move to, grasp, transport, and drop into, achieving nearly 80% real-world success. This performance is comparable to that of expert human teleoperation on the same tasks while the robot is more efficient, operating at about 1.5x the speed of the teleoperation. Finally, we perform extensive ablations on key techniques for efficient RL training and effective sim-to-real transfer, and demonstrate effective deployment across diverse indoor and outdoor scenes under various lighting conditions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01