表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

手先の移動履歴を画像に重ね、作業順序を選び分けるロボット方策

Trace-Focused Diffusion Policy

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Trace-Focused Diffusion Policyの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Trace-Focused Diffusion Policy for Resolving Multi-modal Action Ambiguity (MA 2 ). (a) In long-horizon manipulation, visually similar observations map to different actions at different execution stages. (b) This one-to-many mapping causes MA 2 for diffusion policies conditioned only on instantaneous observations. (c) TF-DP resolves MA 2 by conditioning on explicit motion traces and a trace-focused field, enabling temporally consistent actions.

出典:Trace-Focused Diffusion Policy / arXiv ↗

概要

  • 手先位置の履歴を上方画像へ投影し、同じように見える場面で作業段階を判断する。
  • 著者らの実機3課題では、平均成功率はTF-DPが91.67%、現在観測だけを使うDPが11.11%だった。
  • 対象工程への導入には、3視点の画像、手先位置、正解動作を含む教師操作と、カメラ位置関係の校正が必要になる。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Trace-Focused Diffusion Policyの仕組み

左から右へ読む
  1. 013視点画像と手先履歴
  2. 02上方画像へ軌跡投影
  3. 03軌跡周辺を強調
  4. 04次の動作を生成

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

TF-DPは、見た目が同じような場面でも、実行済みの動きに応じて次のロボット動作を選ぶ方法だ。例えば立方体を中央から右へ運び、中央へ戻した後には、同じ中央の場面から左へ運ぶ必要がある。現在の画像だけでは、この二つを区別しにくい。

著者らは、こうした一つの観測に複数の動作が対応する状態を「多峰性行動曖昧性」と呼ぶ。複数の操作を順に行う作業では、選択を誤ると所定の順序から外れるため、過去の動きを判断材料に加えている。

手法

TF-DPは、上方・側方・手先のカメラ画像とロボットの手先位置を使う。過去の手先位置を、校正したカメラとロボットの位置関係に従って上方画像へ投影し、軌跡画像を作る。さらに各軌跡点の周囲に広がる重みを合計し、その重みを上方画像に掛けて軌跡周辺を強調する。

強調した上方画像、軌跡画像、残る二視点の画像、現在の手先位置を拡散方策へ入力する。拡散方策は、雑音を含む動作候補から段階的に雑音を取り除いて動作を生成する方法だ。教師操作の画像と正解動作から学習し、実行時には新しい手先位置を履歴に追加する。例えば立方体を右へ運んで中央に戻った軌跡を手掛かりに、次の左への動作を選ぶ。

新規性

TF-DPは、実行済みの手先位置を上方カメラの画像に投影し、現在の見た目が似ていても、作業のどこまで進んだかを一つの方策に伝える。軌跡そのものに加え、その周辺の画像を強調した視野も動作生成に使う。

軌跡は実行中の手先位置から更新される。著者らはこの表現を、同じ場所に戻った後に異なる次の動作を選ぶ実機課題で検証した。

従来手法との違い

基準のDiffusion Policy(DP)は現在の観測から動作を生成する。TF-DPはそこに実行済みの軌跡を加えるため、立方体が中央にある同じような画像でも、それまでに右へ運んだかどうかを判断材料にできる。

著者らは軌跡のみを使う型と、軌跡周辺の画像も強調する完全版を比較した。実機3課題の平均成功率はDPが11.11%、軌跡のみが72.22%、完全版が91.67%だった。この差は、報告された課題と試行条件での結果である。

実験結果

著者らは実機で、立方体の左右への移動、順番に押すキーボード操作、二つの引き出しからの物体取り出しを評価した。学習用の教師操作は前二課題が各30件、引き出し課題が50件。各課題について各手法を同一条件で12回試し、課題成功率を測った。

完全版TF-DPの成功率は課題順に91.67%、100.00%、83.33%で、平均91.67%。DPは16.67%、8.33%、8.33%で、平均11.11%だった。著者らは視覚的妨害下でDPに対する86.11%の改善と実行時間の6.4%増も報告するが、確認できた本文の範囲では、その試験条件と数値表は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:組立作業台で、部品を中央から右の置き場へ運んで戻し、次に左へ運ぶ工程を対象にする。入力は上方・側方・手先のカメラ画像と手先位置の履歴、出力は次に実行するロボット動作とする。中央に戻った場面で順序を選び分けられるかを確かめる。

必要な学習データは、この工程の教師操作の時系列と、各時刻の画像・手先位置・正解操作である。カメラとロボットの位置関係を合わせて軌跡を画像に投影し、対象工程のデータで方策を学習する。部品や配置が変わる場合は、その条件への適応を別途検証する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:中央から左右へ順に運ぶ一工程を決め、上方・側方・手先のカメラ画像、手先位置、時刻ごとの正解動作を含む教師操作を集める。カメラとロボットの位置関係を校正して軌跡を作り、対象工程の同じ学習データでTF-DPと現在観測だけのDPを学習する。

評価では、中央に戻る似た場面を含む試行を両者に同数行い、課題成功率と操作順序の誤りを記録する。背景を変えた条件でも同じ項目を測り、軌跡の投影ずれと動作生成時間を確認する。結果に応じて教師操作の収集条件や撮影位置を調整する。

限界と課題

著者らが問題として挙げるのは、異なる作業段階で似た観測が現れ、現在の観測だけでは次の動作が曖昧になることだ。示された成功率は、報告された机上の実機3課題についての値であり、別の工程での性能を直接示すものではない。

編集上の検証事項は、カメラ位置のずれによる軌跡投影の誤差、失敗動作を含む履歴の影響、作業が長くなったときの軌跡の扱いである。また、履歴を使う比較手法DP-HistActについて、本文には「過去の動作」と「過去8件の観測」という異なる説明がある。比較条件の確定には実装の確認が要る。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Trace-Focused Diffusion Policy for Multi-Modal Action Disambiguation in Long-Horizon Robotic Manipulation

Generative model-based policies have shown strong performance in imitation-based robotic manipulation by learning action distributions from demonstrations. However, in long-horizon tasks, visually similar observations often recur across execution stages while requiring distinct actions, which leads to ambiguous predictions when policies are conditioned only on instantaneous observations, termed multi-modal action ambiguity (MA2). To address this challenge, we propose the Trace-Focused Diffusion Policy (TF-DP), a simple yet effective diffusion-based framework that explicitly conditions action generation on the robot's execution history. TF-DP represents historical motion as an explicit execution trace and projects it into the visual observation space, providing stage-aware context when current observations alone are insufficient. In addition, the induced trace-focused field emphasizes task-relevant regions associated with historical motion, improving robustness to background visual disturbances. We evaluate TF-DP on real-world robotic manipulation tasks exhibiting pronounced multi-modal action ambiguity and visually cluttered conditions. Experimental results show that TF-DP improves temporal consistency and robustness, outperforming the vanilla diffusion policy by 80.56 percent on tasks with multi-modal action ambiguity and by 86.11 percent under visual disturbances, while maintaining inference efficiency with only a 6.4 percent runtime increase. These results demonstrate that execution-trace conditioning offers a scalable and principled approach for robust long-horizon robotic manipulation within a single policy.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01