表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

動作の軌跡で学び、画像と指示から動きを選ぶロボット制御

KinRT

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

KinRTの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Illustration of kinematic archetype collapse.

出典:KinRT / arXiv ↗

概要

  • 学習時の動作軌跡を分類し、その番号で専門モデルの振り分けを教える。
  • 実行時には画像と文章指示だけから専門部分を選び、動作列を生成する。
  • 著者の評価では、RoboTwinとDIYRobotの両方で比較モデルを上回る設定が示された。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、KinRTの仕組み

左から右へ読む
  1. 01画像と文章指示
  2. 02動作型を推定
  3. 03専門部分を選択
  4. 04腕の動作列を出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

ロボットに画像と文章の指示から動作を作らせると、作業ごとに必要な腕の軌道が大きく違う。同じような画面でも、コップを持ち上げる場合とふたを回す場合では動きが異なる。

複数の専門部分を使う方式でも、どの部分に任せるかを画像だけから暗黙に学ぶと、動作に合わない選択が起こりうる。一方、正解となる動作軌跡は実行前には分からず、学習時と運用時で使える情報が違う。

手法

学習時には実演の将来50ステップの動作から、腕の位置と隣り合う時点の変化を取り出す。それらをクラスタリングという似たデータ同士の分類にかけ、得た動作型の番号を振り分け器の正解ラベルにする。振り分け器は画像と文章を見て、その番号を予測するよう訓練される。

実行時は、たとえば「ペンを渡す」という指示とカメラ画像を受ける。振り分け器が専門部分を選び、動作生成部が腕と把持部の動作列を作る。この段階で正解の動作軌跡を入力する必要はない。著者の設定では四つの専門部分を置き、各時点で一つを選ぶ。

新規性

KinRTは、学習時に使える腕と把持部の動作軌跡を分類し、その分類結果で専門モデルの振り分け器を教える。実行時の振り分けには、画像と文章の指示だけを使う。

著者が狙うのは、見た目が似ても必要な動きが違う作業を分け、見た目が違っても同じ動きで扱える作業を結び付けることだ。動作データを使う場所を学習時に限った点が、この設計の要となる。

従来手法との違い

比較には、単一の経路で多くの作業を扱うVLAと、専門モデルを持つものの振り分けを明示的な動作分類で教えないMoE型VLAが使われた。VLAは視覚、文章、動作を結び付けるモデル、MoEは複数の専門部分から使うものを選ぶ方式を指す。

KinRTは動作の似方から作ったラベルを振り分け器の教師信号に加える。著者の表では、最良の方式はシミュレーションと実機で異なり、少数パラメータを調整するLoRAと全パラメータ調整の結果を分けて読む必要がある。

実験結果

著者はRoboTwinの8作業で、清浄条件とランダム条件の各100回を評価した。平均成功回数はKinRT-LoRAが100回当たり40.8/38.8、比較したπ0.5-LoRAが33.1/34.1だった。実機DIYRobotでは5作業を各50回試し、KinRT-Fullは平均35.6回、π0.5-Fullは29.6回だった。

実機の学習データは5作業各100実演、計500実演である。著者は暗黙に振り分けるAdaMoEとの比較も示すが、改善幅は作業と調整方法で変わるため、単一の数値を全用途の改善率として扱えない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:作業台で箱を持ち上げる動作と、置いた物を押して移す動作を扱う試験を想定する。入力は作業台の画像と「箱を持ち上げる」などの文章指示、出力はロボットの腕と把持部の動作列である。

既存の実演記録から動作の型を作り、学習時に振り分け器を調整する。運用時は画像と指示から専門部分を選ぶが、作業物の形や接触条件が変わるため、安全な試験環境で成功率を確認してから用途を広げる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象作業を二つ程度に絞り、同じ作業物、開始位置、指示で実演を集める。動作軌跡を分類して各型の件数を確認し、KinRT型の振り分けと、明示的な動作ラベルを使わない方式を同条件で比べる。

作業ごとの成功回数に加え、珍しい動作型での選択率、誤選択の場面、完了までの時間を記録する。実機では人の監督下で試し、訓練に含めなかった物体配置でも結果を分けて確認する。

限界と課題

確認できた本文の範囲では、著者はRoboTwinでのシミュレーションと、独自に製作したDIYRobotでの実機試験を示している。異なるロボットや未収録の作業への成功率まで示す結果とは読めない。実機側は清浄条件のみで評価された。

編集上の確認点は、動作の型が少数の専門部分に収まるか、珍しい動作の実演が十分あるか、指示と画像だけで適切な振り分けができるかである。試験条件ごとに成功率を分け、失敗時の動きも記録したい。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Route by Kinematics, Act by Observation: Kinematics-Supervised Expert Routing in MoE-Augmented VLA

While MoE augments VLA via expert specialization, router suffers from ineffective expert routing owing to the kinematic heterogeneity of actions across manipulation tasks and, even worse, the unavailability of the kinematic signals at inference time. In this work, we first observe that most semantically distinct manipulation tasks reduce to multiple kinematic archetypes. Motivated by this finding, we propose Kinematics-supervised explicit routing (KinRT), a new paradigm that shifts from implicit, observation-driven expert routing to explicit, kinematics-guided expert dispatching. Specifically, we perform kinematic clustering on action trajectories into multiple kinematically coherent groups, whose IDs serve as ground truth to supervise the training of the router; at inference time, the router dispatches experts only using visual-language observations, without any reliance on action kinematics. KinRT actually introduces an asymmetric bridging mechanism that distills the task kinematics from the action space in training into the observation space at inference. In addition, to assess KinRT's cross-platform generalization, we build an economical, Do-It-Yourself robot (DIYRobot) platform from scratch using 3D-print technology ($<$ 2,000USD). Extensive experiments demonstrate KinRT's superiority over both dense and MoE-featured VLAs by more than 23.26% on RoboTwin benchmark and 20.27% on our introduced DIYRobot platform. Our code and DIYRobot platform will be open-sourced.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29