アーカイブ / Robotics
ACT：両腕の細かな作業を、手本から一連の動作として学ぶ
Action Chunking with Transformers (ACT)
Action Chunking with Transformers (ACT)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : ALOHA : A L ow-cost O pen-source Ha rdware System for Bimanual Teleoperation . The whole system costs <$20k with off-the-shelf robots and 3D printed components. Left: The user teleoperates by backdriving the leader robots, with the follower robots mirroring the motion. Right: ALOHA is capable of precise, contact-rich, and dynamic tasks. We show examples of both teleoperated and learned skills.
概要
- ACTは映像と関節位置から、両腕の次の複数時点の動作をまとめて予測する。
- 手動操作で集めた実演を学習し、重なる動作予測を平均して実行する。
- 著者らは実機六課題を評価し、電池挿入では25回の実行による表で96％の完了率を報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Action Chunking with Transformers (ACT)の仕組み
- 01手動操作の実演
- 02映像と関節を記録
- 03連続動作を学習
- 04両腕の目標位置
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ケーブル結束や電池の挿入のような細かな両腕作業は、接触の加減と映像を見た修正が要る。わずかな位置のずれが失敗につながるため、高精度の装置や丁寧な調整に頼りがちである。
一方、人の実演をまねる学習も、一回の動作の誤差が後の誤差を呼ぶ。ACTの研究は、比較的低価格の装置で実演を集め、動作のまとまりを学習してこの問題を和らげる。
手法
手本は、操作する人が左右の小型アームを動かし、対応する作業用アームが追従する仕組みで集める。学習には四つのカメラ画像、作業用アームの現在の関節位置、人が操作した側の関節位置を使う。ACTはTransformerという系列情報を扱うモデルで、現在の観測から先の複数時点の目標関節位置を予測する。
人の実演には同じ状態からの動かし方の違いがあるため、学習時には条件付き変分オートエンコーダーという生成モデルも用いる。実行時には新しい観測ごとに動作列を予測し直し、同じ時点に重なった予測を平均する。例えば電池を入れる作業なら、片腕で本体を押さえ、もう片腕で挿入する一連の動作を出す。
新規性
ACTは、次の一動作だけでなく、しばらく先までの関節位置を一まとまりで予測する。重なって予測された同じ時点の動作を平均して滑らかにする仕組みも加え、細かな操作で誤差が積み重なる問題に取り組む。
複数のカメラ画像と両腕の関節位置から動作を出す学習方法を、手動操作で実演を集められる低価格の両腕システムと組み合わせた点も、この研究の柱である。
従来手法との違い
比較対象の行動模倣法は、観測から動作を予測して実演を再現する。細かな作業では、一回のずれが次の観測と動作に影響し、失敗につながりやすい。ACTは複数時点の動作をまとめて予測し、毎時点の新しい観測も重なった予測に反映する。
著者らは実機とシミュレーションでBC-ConvMLP、BeT、RT-1、VINNなどと比べた。ただし課題ごとに比較した手法や試行条件が異なるため、全課題を単一の数値で順位づけはできない。
実験結果
著者らは実機の六課題とシミュレーションの二課題で調べた。実機には電池の挿入、カップのふた開け、袋の開閉などがある。本文は約10分、または50軌道の実演から、代表的な難しい課題で80〜90％の成功を報告する。
表では電池挿入の完了率がACTで96％、比較したBeTで0％だった。実機のこの表の評価は一つの学習設定につき25回の実行である。課題や成功段階で値が異なるため、80〜90％を六課題すべての共通成績とは解釈しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。組立工程で、片方の腕が小型部品の台を押さえ、もう片方が部品を溝へ入れる作業を対象にする。入力は熟練者の手動操作、複数視点の映像、両腕の関節位置で、出力は次の一連の目標関節位置とする。
まず部品の初期位置をそろえた限定条件で実演を集め、学習した動作を安全に試せる環境で評価する。成功だけでなく、途中で押さえが外れた場面や挿入に失敗した位置を記録し、再実演の対象を決める。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象を一つの挿入作業に絞り、人の実演とカメラ画像、関節位置を同時に記録する。開始位置と成功条件を明確にし、学習に使わない試行で結果を確かめる。
基準には、同じ実演から一時点ずつ動作を予測する方法を置く。同じ初期条件で、完了率、途中段階の達成率、失敗位置、動作の急な変化を記録する。成功しなかった軌道を確認し、実演不足と予測のずれを分けて改善する。
限界と課題
著者らが扱ったのは特定の両腕装置と課題であり、示された成功率はその条件に結び付く。本文では装置の腕に5〜8mmの精度という仕様を記す。実演からの模倣では、学習時に見ていない状態へ入ると誤差が積み重なる問題も残る。
導入時には、対象部品の寸法差、初期位置のずれ、接触の強さ、動作中の停止条件を確かめたい。別の装置や生産工程へ成功率をそのまま移せるかは、個別の検証事項である。
出典
元のタイトル・要旨を確認する（英語）
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
Fine manipulation tasks, such as threading cable ties or slotting a battery, are notoriously difficult for robots because they require precision, careful coordination of contact forces, and closed-loop visual feedback. Performing these tasks typically requires high-end robots, accurate sensors, or careful calibration, which can be expensive and difficult to set up. Can learning enable low-cost and imprecise hardware to perform these fine manipulation tasks? We present a low-cost system that performs end-to-end imitation learning directly from real demonstrations, collected with a custom teleoperation interface. Imitation learning, however, presents its own challenges, particularly in high-precision domains: errors in the policy can compound over time, and human demonstrations can be non-stationary. To address these challenges, we develop a simple yet novel algorithm, Action Chunking with Transformers (ACT), which learns a generative model over action sequences. ACT allows the robot to learn 6 difficult tasks in the real world, such as opening a translucent condiment cup and slotting a battery with 80-90% success, with only 10 minutes worth of demonstrations. Project website: https://tonyzhaozh.github.io/aloha/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29