アーカイブ / Robotics
動作を計算した順に実行するロボット模倣学習「Streaming Flow Policy」
Streaming Flow Policy
Streaming Flow Policyの原論文から掲載した図です。細部はクリックして拡大できます。
出典：Streaming Flow Policy / arXiv ↗概要
- 直前の動作から動作経路を少しずつ計算し、得られた指令を順に実行する。
- 学習時には実演経路へ戻す成分を速度場に加え、実演からのずれを抑える。
- Push-Tでは条件によって得点の優劣が異なる。画像入力・状態模倣での平均遅延は動作当たり8.8ミリ秒と著者らは報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Streaming Flow Policyの仕組み
- 01観測履歴と直前動作
- 02直前動作から開始
- 03速度場を逐次積分
- 04動作指令を送信
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Streaming Flow Policyは、実演からロボットの動作を学び、計算できた動作を順に実行する方法である。模倣学習では、過去の観測を手掛かりに、実演に似た将来の動作を選ぶ。
従来の拡散方策やフローマッチング方策は、複数段階を経て将来の動作列を生成する。その途中で得た候補は実行せず、生成完了後に動作を渡す。計算が続く間、ロボットは次の指令を待つことになる。
手法
学習には、観測履歴と、その後の動作経路を対にした実演を使う。各経路について、経路に沿って進む成分と、外れた位置から戻す成分を持つ「速度場」を目標として作る。速度場は、現在の動作を次にどちらへ変えるかを示す規則で、ここでいう速度はロボット本体の物理的な速さとは限らない。モデルは観測履歴、経路上の時刻、現在の動作から、その速度場を予測するよう学ぶ。
実行時は直前の動作から始め、予測した変化を小刻みに足す「積分」で次の動作を求め、計算した順に制御器へ送る。論文の実験では初期動作への雑音を加えず、決定的に実行する。例えば押し作業なら、押し具の位置に応じた指令を一つずつ計算する。一つの実行区間では同じ観測履歴を使い、次の区間で新しい履歴を用いる。
新規性
著者らの提案は、生成過程を動作列の空間ではなく、一つ一つの動作が並ぶ空間で進めることにある。計算途中の動作をそのまま実行でき、動作列全体の完成を待つ必要がない。
学習時には、実演経路に沿って進む成分に、経路からのずれを戻す成分を加えた速度場を目標にする。著者らは、この安定化によって実演からのずれを抑え、模倣成績を改善したと報告する。
従来手法との違い
通常の拡散方策とフローマッチング方策は、観測履歴から将来の動作列を生成し、生成途中の候補列を捨てる。最初の動作も、動作列の生成が終わるまで実行できない。一方、比較対象のStreaming Diffusion Policyも動作を順次実行する方式である。
本手法は直前の動作から計算を始め、一つの動作経路を少しずつ伸ばして指令を送る。著者らは安定化成分を除いた本手法とも比較した。得点と遅延の優劣は、入力や課題、比較する生成段数によって異なる。
実験結果
著者らはPush-TとRoboMimicで、拡散方策、フローマッチング方策、Streaming Diffusion Policy、安定化成分を除いた本手法と比較した。指標は最良の５チェックポイントの平均得点、全チェックポイント中の最高得点、動作当たりの平均遅延。Push-Tは学習用実演200件、評価50試行の設定である。
著者らのPush-T結果では、状態入力・状態模倣の平均／最高得点は本手法95.1％／96.0％、100段のDDPMを使う拡散方策92.9％／94.4％。画像入力・状態模倣では本手法83.9％／84.8％、同方策87.0％／90.1％だった。この画像入力条件での平均遅延は、それぞれ動作当たり8.8ミリ秒と127.2ミリ秒である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上の部品を押して所定の位置へ寄せる作業で、押し具の動作を順次指令する。入力は押し具の位置を含む観測履歴と直前の動作、出力は次に実行する位置指令とする。作業者の動きを模倣する用途として検討できる。
学習には対象作業で時刻をそろえて記録した観測と動作経路が必要になる。位置を測るセンサーと指令に追従する制御器を用意し、成否ラベルは評価用に付ける。部品や設備に合わせて動作表現と実行間隔を調整する必要があり、この用途での改善は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の押し作業で、押し具の位置を測るセンサーを用意し、観測履歴と実行動作を時刻をそろえて記録する。学習には動作経路の実演を使い、成功・失敗のラベルは評価用に別途付ける。位置指令を使う場合は、その指令に追従する制御器も確認する。
同じ学習データで従来の動作列生成方式を基準として用意し、両方式の動作表現と実行間隔を対象設備に合わせる。学習に使わない条件で成功率、動作当たりの遅延、経路制約違反を測る。観測の遅れと指令への追従誤差も記録し、順次実行が実作業で有効か判断する。
限界と課題
著者らが明記する制約は、各時点の動作分布が実演に合っても、動作列全体の組み合わせまで一致する保証はないことだ。学習時に存在しなかった実演経路同士のつなぎ合わせが起こり得るため、経路全体にかかる制約は表現できない場合がある。
編集上の検証事項は、対象作業でそのつなぎ合わせが許容できるか、指令への追従誤差や観測の遅れが結果を変えないかである。著者らは実機実験にも言及するが、確認できた本文の範囲では、その条件や数値を確かめられない。
出典
元のタイトル・要旨を確認する（英語）
Streaming Flow Policy: Simplifying diffusion/flow-matching policies by treating action trajectories as flow trajectories
Recent advances in diffusion$/$flow-matching policies have enabled imitation learning of complex, multi-modal action trajectories. However, they are computationally expensive because they sample a trajectory of trajectories: a diffusion$/$flow trajectory of action trajectories. They discard intermediate action trajectories, and must wait for the sampling process to complete before any actions can be executed on the robot. We simplify diffusion$/$flow policies by treating action trajectories as flow trajectories. Instead of starting from pure noise, our algorithm samples from a narrow Gaussian around the last action. Then, it incrementally integrates a velocity field learned via flow matching to produce a sequence of actions that constitute a single trajectory. This enables actions to be streamed to the robot on-the-fly during the flow sampling process, and is well-suited for receding horizon policy execution. Despite streaming, our method retains the ability to model multi-modal behavior. We train flows that stabilize around demonstration trajectories to reduce distribution shift and improve imitation learning performance. Streaming flow policy outperforms prior methods while enabling faster policy execution and tighter sensorimotor loops for learning-based robot control. Project website: https://streaming-flow-policy.github.io/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01