新着研究 / VLM / Robotics
生徒が訪れた場面と動作生成の途中を教師が指導、複数VLAの技能を一つへ統合
Multi-Teacher On-Policy Distillation
Multi-Teacher On-Policy Distillationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Two-level multi-teacher on-policy distillation. (a) A shared student initialized by joint SFT interacts with three domains to collect decision contexts. The context c t = ( o t , g ) c_{t}=(o_{t},g) contains the observation and language instruction and is supplied to both student and domain-matched teacher. (b) Orange velocity vectors show dense teacher supervision at every nonterminal solver state along the student’s flow path. Query states and teacher targets are detached during optimization. Weighted domain losses update the student; the next round collects new environment contexts and flow states. Environment snapshots come from student rollouts; the flow path and velocity vectors are schematic.
概要
- 専門VLAを固定し、共通の生徒が実行で遭遇した観測と、自身の動作生成経路の途中に教師の指導を付ける。
- LIBEROの成功率は共同SFTの53.15%から75.70%、CALVINの五指示完遂率は39.5%から72.9%となった。
- 単一学習実行での比較であり、観測側と生成途中側の効果は個別には分離していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-Teacher On-Policy Distillationの仕組み
- 01生徒が環境で実行
- 02動作生成途中を記録
- 03専門教師が変化量を提示
- 04共通の生徒を更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像と言語からロボット動作を出すVLAでは、領域ごとに優れた専門モデルを一つの共通モデルへ集約したい。しかし教師の成功実演だけを学ぶと、生徒がつかみ損ねた後に見る場面への対処が不足する。
ノイズを少しずつ動作へ変えるフロー型VLAでは、実環境の観測だけでなく、動作を作る途中の内部状態も教師と生徒で異なる。この二段階のずれを同時に扱うのが本研究の狙いである。
手法
まず複数領域の実演で共同学習した生徒を初期値とし、各領域で生徒自身を動かす。成功と失敗の両方から画像・ロボット状態・言語指示を集める。同時に、ノイズから動作列へ進む生成経路の途中状態を保持し、その領域の固定教師へ同じ状態を渡す。
教師は最終動作だけでなく、途中状態をどちらへ変えるかという速度場を答える。生徒の予測との差を領域ごとに平均し、重み付けして共通パラメータを更新する。更新後の生徒で再収集するため、例えば把持失敗で位置がずれた場面でも、その生徒が実際に使う生成経路に沿って指導できる。
新規性
環境中で生徒が出会う観測と、生徒内部の動作生成経路を共に更新しながら、専門教師の局所的な指導を統合する。教師が作った観測や生成経路だけを再利用する方式との違いは、指導を求める場所を現在の生徒が決める点にある。
配備時は共通の生徒だけを使う。ただし各領域の前処理、正規化、動作の読み替えは保持するため、全ロボットで完全に同一の入出力規約へ統一したものではない。
従来手法との違い
Action Loss OPDは生徒の観測を使うが最終動作列を合わせる。Teacher-rollout SFTは局所速度を合わせるが、環境と生成途中の状態を教師から取る。提案法はこの二方式と共通の初期値・更新数・エピソード数で比較する。
著者報告では全領域の集計値で優位だが、個別のLIBERO SpatialではAction Lossの94.6%に対し94.2%だった。また教師由来の方式に対する改善は二種類の状態を同時に変えた効果で、各要素の独立寄与とは言えない。
実験結果
80更新時点でLIBERO-40の成功率は初期53.15%から75.70%、Meta-World MT50は38.0%から60.6%へ上昇した。CALVINの五指示完遂率は39.5%から72.9%で、指示列が長いほど比較方式との差が大きい傾向を示す。
各評価はLIBERO 2,000エピソード、Meta-World 500、CALVIN 1,000系列。各方式は単一学習実行で、同じエピソード数でも実行長による制御ステップ数は異なる。実機での統合成功を検証した結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、倉庫の複数作業に特化した操作方策を、共通のVLAへ移す訓練工程が考えられる。入力は作業別の画像・指示・生徒の途中生成状態、出力は専門教師から得た修正方向を反映した共通方策である。
まずシミュレーションで、取り違えや把持ずれの後に生徒が遭遇する場面を集める。教師の正常実演を増やすだけの場合と比較し、連続する作業で途中の失敗から持ち直せるかを確認する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、二つの作業領域と固定教師を用意し、共通SFTを基準に最終動作の模倣、教師経路の速度模倣、提案方式を比較する。観測と動作の表現・正規化を教師と生徒で揃えることが出発点となる。
成功率に加え、連続作業の完遂率、教師照会数、収集ステップ数、学習時間を測る。複数乱数で再実行し、一領域の改善が他領域を損なわないかを記録する。配備前には動作座標の意味のずれも検査する。
限界と課題
著者は領域間で同じ動作座標の意味が異なる点を課題に挙げる。例えばグリッパ制御が別の座標に入り、共有を難しくする。また生徒は集計値で専門教師に届かず、LIBERO-10では46.4%対97.0%の差が残る。
観測だけ、または生成途中だけを生徒由来にする混合条件は未評価である。LIBEROとMeta-Worldは収集と評価で初期状態集合を共有し、CALVIN教師の評価場面への事前接触も不明なため、未知環境への汎化は追加確認が必要となる。
出典
元のタイトル・要旨を確認する（英語）
Multi-Teacher On-Policy Distillation for Flow-Based Vision-Language-Action Models
Specialized vision-language-action (VLA) policies acquire strong domain-specific skills, yet consolidating these skills into one shared policy remains challenging. On-policy distillation (OPD) transfers teacher knowledge on inputs induced by the student, addressing the distribution mismatch encountered during deployment. For flow-based VLAs, this mismatch arises at two levels: environment observations and intermediate action-generation states. We propose a two-level on-policy distillation framework that couples student-driven environment interaction with teacher velocity supervision along student-generated action flow trajectories. Frozen domain specialists jointly supervise one student. After each update, the student collects new environment experience and generates fresh action-flow trajectories. Starting from a joint supervised fine-tuning (SFT) initialization, Velocity Loss OPD yields absolute success-rate gains of 22.55% on LIBERO-40, 33.4% on CALVIN five-instruction sequences, and 22.6% on Meta-World MT50. Compared with Action Loss OPD and Teacher-rollout SFT, it achieves absolute success-rate gains of 6.4-9.5% on LIBERO-40, 9.7-18.3% on CALVIN, and 3.2-4.2% on Meta-World MT50. Analysis by sequence length further shows larger success-rate gains on longer CALVIN sequences. These results demonstrate effective multi-domain capability consolidation through two-level on-policy supervision, with a single student deployed across domains.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-16