アーカイブ / Robotics
粗い将来動作を先に予測し、実行動作につなぐロボット制御
Coarse-to-Control
Coarse-to-Controlの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of reasoning paradigms for VLA control: No CoT, textual CoT, visual CoT, and our action-token CoT. Our method uses a compact action-level planning prefix before executable action generation.
概要
- 画像・指示・ロボット状態から粗い将来動作を先に予測し、それを条件に実行動作を生成する。
- 計画と実行は共通の離散的な動作語彙を使い、ロボット動作へ変換するのは実行用トークンだけである。
- 著者らはLIBEROで全体成功率97.90％、SimplerEnv-WidowXで平均83.3％、実機４課題で平均62.5％を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Coarse-to-Controlの仕組み
- 01画像・指示・機体状態
- 02粗い計画トークン
- 03実行トークン
- 04ロボット動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Coarse-to-Controlは、ロボットの細かな動作を出す前に、将来の動きを粗く予測する方式だ。画像と指示から直接動作を予測する方式では、複数段階の作業で早い時点の誤りが後の操作に影響しうる。
例えば、物をつかんで運び、所定の場所に置くには、接近方向、把持、移動の順序を決める必要がある。研究の狙いは、その流れを実行動作に近い表現で先に示すことにある。
手法
入力はカメラ画像、作業指示、ロボット自身の状態である。学習用の実演では、将来動作を複数の区間に分け、各区間の相対的な移動量を合計し、区間末の把持部の状態を残して粗い計画を作る。例えば「にんじんを皿に置く」動作なら、接近、把持、運搬、配置にわたる動きの流れを短い列に要約する。
計画用の長期動作と実行用の短期動作は、共通の語彙を使うトークンに変換する。トークンとは、連続的な動作をモデルが扱える離散的な番号列にしたものだ。モデルは計画の列を先に予測し、それを手掛かりに実行の列を予測する。実行時には後者だけを連続的なロボット動作へ戻す。
新規性
計画と実行を、共通の離散的な動作語彙で表す点が提案の中心である。長い将来の動きを要約した計画トークンを先に予測し、その列を条件に短い実行動作を予測する。
計画用と実行用では符号化のモードを分けつつ、語彙を共有する。計画は実行の手掛かりとして使い、ロボットの連続的な動作に戻すのは実行用トークンだけである。
従来手法との違い
計画を使わないFaster-ARは、観測から実行用トークンを直接予測する。著者らのLIBEROでの語彙共有に関する比較では、全体成功率はFaster-ARが95.40％、計画と実行に別々の語彙を使うSeparateが96.60％、語彙を共有する提案方式が97.90％だった。
同じ比較でLong系列は順に88.60％、91.60％、95.00％だった。この表からは計画の有無と語彙共有の違いを読めるが、各方式の差が別の環境でも同じ幅で生じるとは言えない。
実験結果
著者らはLIBEROのSpatial、Object、Goal、Longの４系列で各課題50回試行し、提案方式の全体成功率97.90％、Long系列95.00％を報告した。計画の元となる将来動作の長さを０、40、160ステップとした別の比較では、全体成功率は順に96.45％、97.55％、97.90％だった。
SimplerEnv-WidowXの４課題は各24回試行し、平均成功率は83.3％だった。実機の４課題では、各課題50件の実演で学習し、同じ場面設定と成功基準で各20回試行した結果、平均成功率は62.5％と著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：皿にある複数の野菜を容器へ移す作業に適用する。入力は作業台のカメラ画像、移動先を含む指示、ロボットの状態で、出力は腕と把持部の動作列とする。
実施には、対象環境で撮った画像と状態、指示、対応する実演動作の時系列データが要る。対象物と置き先を指示から識別できるラベルを整え、動作の座標系と把持部の表現を使用するロボットに合わせて学習・確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず皿から容器への移動作業に絞り、カメラ画像、ロボット状態、対象物と置き先を示す指示、実演動作を時刻をそろえて集める。対象物・置き先のラベルを点検し、座標系と把持部の表現を実機に合わせて計画用・実行用トークンを学習する。
同じ実演データで、計画なしに直接動作を予測する方式も用意する。物体の位置を変えた試行を含め、作業全体の成功率、途中段階の達成率、完了までの動作ステップ数、応答時間を同じ条件で測る。
限界と課題
著者らは、粗い将来動作を先に予測する方式を、動作空間での推論方法の一例と位置付ける。より表現力があり状況に応じて変えられる推論方法と、粗い計画・細かな実行に共通する構造の捉え方を今後の課題として挙げる。
編集上の検証事項は、未知の物体や配置での成功率、途中で失敗した後の立て直し、計画生成を含む応答時間である。確認できた本文の範囲では、これらの条件での性能を導入判断に使える形では確認できない。
出典
元のタイトル・要旨を確認する（英語）
Coarse-to-Control: Action-Token Planning for Vision-Language-Action Models
Most vision-language-action (VLA) models map observations directly to actions without explicit intermediate planning, which limits performance on long-horizon tasks where early mistakes compound. We propose Coarse-to-Control, a plan-execute VLA that introduces planning natively in the action-token space. The key idea is to let the policy first predict a compact sequence of coarse action tokens that summarize the intended future trajectory, and then generate executable action tokens conditioned on this plan. Because both planning and execution share a unified discrete action vocabulary, the plan stays close to the control manifold and provides directly actionable guidance rather than an abstract hint that must be translated back to motor commands. Experiments on LIBERO, SimplerEnv-WidowX, and real-world manipulation tasks show that action-token planning consistently improves over direct action generation, with the largest gains on long-horizon multi-stage tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01