表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

FlowRAM:注目領域を絞りながら次のロボット姿勢を生成する手法

FlowRAM

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

FlowRAMの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : The diagram of the proposed FlowRAM. Consider the insert USB in computer task. Previous arts have attempted to capture information about the geometric details of USB and ports, but fail severely due to lacking task-relevant perception. In contrast, FlowRAM equipped with a dynamic radius schedule successfully preserves these geometric details and ensures accurate alignment of the USB and port. The 𝒑 𝒊 , r i \boldsymbol{p_{i}},r_{i} in the figure represent the center and radius of the region, respectively.

出典:FlowRAM / arXiv ↗

概要

  • FlowRAMは複数視点のRGB-D画像、作業指示、ロボット状態から、次の重要場面の手先姿勢と把持部の開閉を予測する。
  • 姿勢生成が進むにつれて候補位置周辺の観察範囲を狭め、点群の細かな形状を予測に取り込む。
  • 著者らのRLBench高精度7課題では、平均成功率がFlowRAMの52.0%に対し3D Diffuser Actorは40.0%だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、FlowRAMの仕組み

左から右へ読む
  1. 01複数視点のRGB-D画像・指示
  2. 02候補位置周辺を採点群
  3. 03Mambaで情報統合
  4. 04フローで姿勢更新
  5. 05次の手先姿勢・開閉

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

FlowRAMは、次の重要場面でロボットの手先をどの姿勢に置くかを予測する。USB端子をポートへ差し込むような作業では、周囲の物体を見分けるだけでなく、接触する部分の細かな形状と位置関係を捉える必要がある。

著者らが挙げる課題は、作業に関係する領域を十分に詳しく見られないことと、拡散モデルが動作生成時に雑音除去を繰り返すため計算に時間がかかることだ。

手法

FlowRAMは、複数視点のRGB-D画像、作業指示、ロボットの状態を使う。RGB-Dは色と奥行きの画像で、奥行きから三次元の点の集まりである点群を扱う。動的半径スケジュールにより、生成中の候補位置を中心に点群を選ぶ範囲を狭め、局所的な形状を取り込む。画像、点群、指示の特徴は、系列情報を処理するMambaで統合する。

次に、条件付きフローマッチングで学んだ移動方向に沿い、雑音から始めた候補姿勢を段階的に更新する。これは候補を目標の姿勢へ運ぶ方向を予測する方法だ。USB差し込みなら、端子とポートの情報を条件として、次の重要場面における手先の位置・向きと把持部の開閉を予測する。

新規性

FlowRAMの提案は、姿勢を生成する途中の候補位置を中心に、三次元空間で見る範囲を段階的に狭めることだ。初めは広い場面を捉え、後半には作業対象の細かな形状を取り込む。

この領域選択を、画像・点群・指示を統合するMambaと、姿勢の更新方向を学ぶ条件付きフローマッチングに結び付けた。

従来手法との違い

PerActは作業空間を三次元の格子に分け、Act3Dは点の選び方を粗い範囲から細かい範囲へ変える。3D Diffuser Actorは拡散モデルによる動作生成を用いる。FlowRAMでは、生成中の候補位置に応じて点群を調べる範囲が変わる。

拡散モデルには推論時に雑音除去を繰り返す処理がある。FlowRAMは学習した移動方向に沿って候補姿勢を更新する。ただし、記載された比較には入力画像の解像度が異なる手法も含まれるため、数値を方式だけの差とは解釈できない。

実験結果

著者らはロボット操作の評価環境RLBenchを用いた。10課題の設定では各課題に20件の実演を使い、各課題25回の試行による成功率を3つの乱数条件で報告する。表の平均成功率はFlowRAMが82.3%、3D Diffuser Actorが78.4%だった。

高精度を要する別の7課題では、各課題に100件の実演を使い、4台のRGB-Dカメラから画像を得た。3つの乱数条件での平均成功率はFlowRAMが52.0%、3D Diffuser Actorが40.0%で、差は12.0ポイント。著者らは実世界の課題で4ステップ未満の動作生成も述べるが、確認できた本文の範囲では、その成功率や時間の数値を確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:部品を差し込む一つの工程で、次の手先姿勢を提案する用途を考える。対象工程の複数視点RGB-D画像、作業指示、ロボットの状態を入力し、手先の位置・向きと把持部の開閉予測を記録する。

準備には、同じ工程を撮影できる色・奥行きのセンサー、実演記録、重要場面の手先姿勢と開閉状態のラベルが要る。現場の部品と撮影位置に合わせて学習・調整し、予測を作業者が確認する流れを想定する。実用上の改善は別途検証が必要だ。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:一つの差し込み工程に絞り、複数視点のRGB-Dセンサーで色・奥行きの画像を集める。作業指示とロボット状態に加え、実演中の重要場面について手先の位置・向き、把持部の開閉をラベルとして記録し、その工程に合わせて学習・調整する。

既存の姿勢予測方法を比較基準とし、同じ実演データと撮影条件で評価する。作業成功率、予測姿勢と正解姿勢のずれ、姿勢生成に要する時間を測り、部品の置き方や見え方を変えた試行は分けて集計する。失敗例では、領域選択と実際の動作完了を確認する。

限界と課題

著者らは、従来の拡散モデルでは反復的な雑音除去が推論を遅くすると述べる。確認できた本文の範囲では、FlowRAM自体について著者が明示した失敗条件や適用限界は確認できない。また、実世界の課題における成功率や処理時間の具体的な数値も示されていない。

編集上の検証事項は、差し込み口が隠れた場合に必要な点群を選べるか、撮影位置や部品が変わっても予測が保たれるかである。予測した姿勢へ実際に到達し、作業を完了できるかも、姿勢予測とは分けて確かめたい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

FlowRAM: Grounding Flow Matching Policy with Region-Aware Mamba Framework for Robotic Manipulation

Robotic manipulation in high-precision tasks is essential for numerous industrial and real-world applications where accuracy and speed are required. Yet current diffusion-based policy learning methods generally suffer from low computational efficiency due to the iterative denoising process during inference. Moreover, these methods do not fully explore the potential of generative models for enhancing information exploration in 3D environments. In response, we propose FlowRAM, a novel framework that leverages generative models to achieve region-aware perception, enabling efficient multimodal information processing. Specifically, we devise a Dynamic Radius Schedule, which allows adaptive perception, facilitating transitions from global scene comprehension to fine-grained geometric details. Furthermore, we integrate state space models to integrate multimodal information, while preserving linear computational complexity. In addition, we employ conditional flow matching to learn action poses by regressing deterministic vector fields, simplifying the learning process while maintaining performance. We verify the effectiveness of the FlowRAM in the RLBench, an established manipulation benchmark, and achieve state-of-the-art performance. The results demonstrate that FlowRAM achieves a remarkable improvement, particularly in high-precision tasks, where it outperforms previous methods by 12.0% in average success rate. Additionally, FlowRAM is able to generate physically plausible actions for a variety of real-world tasks in less than 4 time steps, significantly increasing inference speed.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01