アーカイブ / Robotics
少ない実演から複数の動作を学ぶロボット方策「IMLE Policy」
IMLE Policy
IMLE Policyの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 3: IMLE Policy Overview a) Training: The policy takes in a sequence of past observations 𝒪 \mathcal{O} and m m sampled latents z for which the policy generates m m sequences of predicted actions 𝒜 \mathcal{A} . Generated trajectories that lie within the rejection sampling threshold ϵ \epsilon are rejected. From the remaining trajectories, the nearest-neighbour to the ground truth trajectory is selected for training. We minimise the the distance between this trajectory and the ground truth trajectory to optimise the policy. As the loss focuses on each data sample, it ensures that all modes are captured even from small datasets. b) When compared to baselines with similar multi-modal capturing capabilities, IMLE can generate actions with a single inference step as opposed to multi-step de-noising processes. c) For highly multi-modal tasks, we enhance the performance of IMLE Policy by introducing a simple inference procedure to induce consistency upon mode choice based on a nearest-neighbour search over batch-generated action proposals with the previously executed action sequence.
概要
- IMLE Policyは、観測と実演動作の対から、複数の動かし方を生成できる方策を学習する。
- 実演20件のシミュレーションPush-Tでは、著者らの報告した成功率は0.10／0.07で、Diffusion Policyは0.03／0.03だった。
- 著者らは比較手法と同程度の性能に必要な実演データが平均38％少ないと報告する。推論に関する97.3％の指標表現には本文内で食い違いがある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、IMLE Policyの仕組み
- 01観測画像と機体状態
- 02動作列候補を生成
- 03前回計画と照合
- 04実行動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
IMLE Policyは、人の実演からロボットの動作列を学ぶ。同じ状況でも、物を左右どちらから押すかなど、正しい動かし方が複数ある。こうした実演を一つの動きにまとめると、実演に含まれる選択肢を表しにくい。
行動模倣は観測と動作の対応を実演から学ぶ方法だが、実演の収集には手間がかかる。動作決定に時間がかかれば実行中の再計画にも響くため、著者らは少ない実演で複数の動きを学び、短時間で動作を生成する課題を扱う。
手法
IMLEは、各実演の近くに少なくとも一つの生成結果が来るよう学習する方法である。訓練では過去の観測と実演動作列を対にし、乱数から同じ観測に対する複数の候補を生成する。実演に近すぎる候補を除き、残りで最も近い候補と実演との距離を縮める。この除外を棄却サンプリングという。
実行時は画像とロボットの状態から将来の動作列を作り、一部を実行して観測し直す。例えばT字形の物体を押す課題では、物体の位置に応じた押し方が候補になる。複数候補を使う設定では、前回の計画の未実行部分に近い候補を選び、一定間隔でその選択をリセットする。
新規性
著者らの新規性は、画像生成向けの棄却サンプリング付きIMLEを、観測を条件として動作を生成する行動模倣に拡張した点にある。実演ごとに同じ観測を使って候補を作り、実演動作との距離で学習する。
推論では生成器を一度通して動作列を得る。複数候補を使う場合には、前回の計画とつながる候補を選ぶ仕組みも加えた。
従来手法との違い
比較対象は、動作生成に100回のノイズ除去を使うDiffusion Policyと、1回で生成するFlow Matchingである。IMLE Policyも生成器を一度通して動作列を作り、必要な場合は複数候補から前回の計画に近いものを選ぶ。
著者らは、同程度の性能に達するまでに必要な実演データが比較手法より平均38％少ないと報告する。この平均値の課題別内訳は確認できた本文の範囲では示されていないため、個々の作業で同じ削減率になるとは読めない。
実験結果
著者らはシミュレーション8課題と実機2課題で評価した。表の成功率は「学習中の最高値／最後の3チェックポイントの平均」で、各値は3回の学習と50種類の初期条件で平均したものと記されている。実機課題には、靴を2足並べて棚に置く作業が含まれる。
実演20件のシミュレーションPush-Tでは、IMLE Policyが0.10／0.07、Diffusion Policyが0.03／0.03だった。全データを使う同課題では、それぞれ0.59／0.54、0.57／0.52である。推論に関する97.3％は本文内で「速度向上」と「遅延削減」の両方で表現され、計測条件も確認できないため、ここではどちらの指標の改善値とも断定しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：靴を左右どちらから先に扱ってもよい棚入れ作業を試す。入力は手首と作業場のカメラ画像、ロボットの状態、過去の観測で、出力は次に実行する動作列とする。
学習には両方の順序を含む観測と動作列の対が必要で、成功判定には左右の配置と帰還を記録する。カメラ位置や棚の寸法が変わる場合は観測条件と実演を合わせ直す。これは既存の実機課題を参考にした応用案であり、別の作業場での成功を示す結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず靴並べの作業範囲を定め、手首と作業場のカメラ画像、ロボットの状態、実行した動作列を対応付けて記録する。左右どちらを先に扱う実演も集める。学習用には観測と動作列の対を用い、評価用には靴の左右配置と帰還の成否を記録する。
同じ実演件数と初期条件でDiffusion Policyを比較基準にし、正しい配置と帰還の成功率、動作決定までの遅延、途中で動かし方が切り替わる回数を測る。カメラ位置や対象物が変われば、その条件で観測と実演を集めて適応を確かめる。
限界と課題
著者らは、複数の有効な動作を生成できる方策では、判断のたびに選ぶ動作が切り替わり、長い作業で動きが揺れ得ると説明する。対策として前回の計画に近い候補を選び、一定間隔で候補の選択をリセットする。
編集上の検証事項：複数候補を生成・選択する設定での実測遅延、照明や対象物の位置が変わった際の成功率、失敗時に停止できる条件を確かめたい。確認できた本文の範囲では、これらの条件での性能を判断する数値はない。
出典
元のタイトル・要旨を確認する（英語）
IMLE Policy: Fast and Sample Efficient Visuomotor Policy Learning via Implicit Maximum Likelihood Estimation
Recent advances in imitation learning, particularly using generative modelling techniques like diffusion, have enabled policies to capture complex multi-modal action distributions. However, these methods often require large datasets and multiple inference steps for action generation, posing challenges in robotics where the cost for data collection is high and computation resources are limited. To address this, we introduce IMLE Policy, a novel behaviour cloning approach based on Implicit Maximum Likelihood Estimation (IMLE). IMLE Policy excels in low-data regimes, effectively learning from minimal demonstrations and requiring 38\% less data on average to match the performance of baseline methods in learning complex multi-modal behaviours. Its simple generator-based architecture enables single-step action generation, improving inference speed by 97.3\% compared to Diffusion Policy, while outperforming single-step Flow Matching. We validate our approach across diverse manipulation tasks in simulated and real-world environments, showcasing its ability to capture complex behaviours under data constraints. Videos and code are provided on our project page: https://imle-policy.github.io/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01