アーカイブ / AI Agent / Robotics
AIコーディングエージェントが押し操作の制御器を作る：Push-Tでの検証
Agentic Self-Learning for Push-T
Agentic Self-Learning for Push-Tの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The agent-written Push A–Z benchmark in the 2D gym. Each tile shows the goal letter pose (green), the block (gray), and the pusher (blue dot); headers give the letter, seed, and final coverage. Red frames mark failures of the pre-MPC baseline controller (B and R at coverage 0.00, S at 0.36), which motivated the self-improvement rounds below.
概要
- AIコーディングエージェントがシミュレーションで試行と修正を重ね、人間の実演データを使わずにPush-Tの制御コードを生成した。
- gym_pushtの200評価条件では、生成コードの状態入力版が成功率100.0％、画像入力版が97.2％だった。
- 著者らは、シミュレーター固有の性質への依存と、実機での頑健性が未確認である点を限界として挙げている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Agentic Self-Learning for Push-Tの仕組み
- 01T字と目標の観測
- 02接触位置を選択
- 03接近して短く押す
- 04再観測して計画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、T字ブロックを一点で押し、目標の位置と向きへ動かすPush-Tを扱う。この平面課題は、人間の実演から操作を学ぶ方式の評価に使われてきた。押す場所によって並進と回転の生じ方が変わるため、接触位置の選択が重要になる。
著者らは、AIコーディングエージェントに操作用プログラムを作らせ、シミュレーションで試して修正した。実演を使わない制御器が、実演から学んだ方式と同じ評価条件でどの程度動くかを調べている。
手法
エージェントは課題説明を受けてPush-Tのシミュレーターを探し、制御コードを書いて試行結果から改訂する。生成された制御器は、計画、接近、押す、離れるという段階を使う。物体と目標の位置・向きの差を見て、到達できる接触位置を選ぶ。中心付近を押す動作は主に移動を、中心からずらして押す動作は回転を狙う。
押す距離を区切り、観測結果に合わせて計画を更新する。画像入力版では、RGB画像を色で分けて物体や目標を抽出し、形状との重なりを手掛かりに位置と向きを推定する。操作前に形状の大きさなどを調整し、押した後には予測した回転と観測した回転の差から摩擦に関する係数を更新する。
新規性
著者らの主張は、AIコーディングエージェントがシミュレーションで押し方を試し、失敗を調べて制御コードを改訂することで、人間の実演データを使わずにPush-Tを解ける点にある。完成した制御器が操作中に動作を決め、言語モデルは高速な制御ループには入らない。
対象を26種類の文字形状へ広げた実験では、苦手な文字を選んで練習する手順もエージェントが作った。著者らはさらに、視覚入力を用いる制御器を異なるロボット腕のシミュレーションへ移している。
従来手法との違い
Push-Tの比較対象は、200件の人間による実演で学習されたDiffusion Policyの公開済みLeRobotチェックポイントである。Diffusion Policyは画像と押し手の位置から動作を決める模倣学習方式で、著者らはチェックポイントを再学習せずに評価した。
生成コードには、物体・押し手・目標の位置と向きを直接受け取る状態入力版と、RGB画像から推定する画像入力版がある。Push-Alphabetでは、接触を固定して経路を求めるDubins pushingに、接触選択や再接触のための補助処理を加えた方式とも比較している。
実験結果
著者らはgym_pushtの固定した200条件で評価した。目標領域の被覆率が95％以上を成功とする条件で、Diffusion Policyは成功率62.5％、平均223.7制御ステップ、平均6.38回の押し動作だった。生成コードの状態入力版は順に100.0％、120.1、3.72、画像入力版は97.2％、170.4、4.76だった。
Push-Alphabetでは26文字を各25回、計650回評価し、720ステップ以内に被覆率90％以上へ達すれば成功とした。著者らの報告では、MPC（予測に基づいて操作を繰り返し選ぶ制御）の状態入力版は成功率99.4％、画像入力版は99.2％だった。これらは示されたシミュレーション条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：平面上の一種類の部品を、指定した位置と向きへ押して整列させる工程を考える。入力は部品と押し手の位置、部品の向き、目標の位置と向きで、出力は接触位置と短い押し動作の列とする。動作ごとに位置を測り直して次の押し方を決める。
準備するのは部品形状、作業範囲、開始条件、目標条件である。状態入力には位置計測が、画像入力にはRGB撮像、対象を見分ける色や形状の設定、位置推定の調整が要る。制御器の作成に実演データは必須ではないが、成否を調べる評価用の正解位置と向きは必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の平面部品について、形状、作業範囲、開始位置、目標位置を定める。状態入力なら部品と押し手の位置、部品の向きを計測する。画像入力ならRGBセンサーを用意し、対象と目標を識別する設定、形状の大きさの調整、画像からの位置推定が要る。
人間の実演データを制御器の学習用に集めることは前提にしない。一方、評価には各試行の実際の位置と向き、および成功判定用の正解値を記録する。同じ開始条件で既存の操作手順を基準にし、成功率、制御ステップ数、押した回数を比べ、画像入力では位置推定誤差も確かめる。
限界と課題
著者らは、エージェントがシミュレーター固有の状態値、描画方法、接触挙動に依存し得ると指摘する。異なる腕のシミュレーションで動いたことは、実機での撮像誤差、遅延、摩擦変動への頑健性を保証しない。制御器などの開発には約950万出力トークンと約221時間の人とのやり取りを要したと報告している。
編集上の検証事項は、実部品での位置推定精度、壁際からの復帰、成功率と操作回数である。要約ではPush-Tのステップ削減率が46％、本文冒頭では50％と食い違うため、割合を使う際は評価表の平均ステップ数から確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Revisiting the "Push-T" Robot Manipulation Task with Agentic Robotics
Push-T is an iconic benchmark for learning manipulation policies from human demonstrations. The robot must use a single point of contact to push a T-shaped block into a target pose. In this short paper, we revisit the Push-T task in the context of emerging advances in Agentic Robotics where an LLM coding agent -- Claude Code with Fable 5 -- is prompted to create an algorithmic solution that does not require any demonstration data. We study how effective the agentic coding loop can solve the Push-T task, and compare the resulting code as policy with the visuomotor imitation learning policy. Results suggest that the agent found the 2D gym simulation online, and used sim experiments to learn push mechanics, iteratively optimizing to achieve 100% success rate using 46% fewer steps than the best diffusion policy trained with 200 human demonstrations. The coding agent also solve extensions from T to the full alphabet (Push-A to Push-Z) using a self generated curriculum and generated simulation code for the Franka and UR5 robot arms in 3D cross-embodiment simulations with visual feedback. Videos, policies and details will be posted online.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01