アーカイブ / Robotics
予測した接触力と実測値のずれから動作を直すロボット操作手法「FAWAM」
FAWAM
FAWAMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison between force-conditioned prediction and our method. (left) Adding force as additional observation alone fails to correct contact deviation while (right) systematic force integration in three levels restores proper contact for successful wiping.
概要
- FAWAMは映像、指示、姿勢、手首の力・トルクの履歴を使い、次の動作と将来の力・トルクを同時に予測する。
- 実行中は予測と実測のずれを使い、必要と判定した場合に残りの動作を修正する。
- 著者らの４課題の実機評価では平均成功率が85.00％で、画像のみの最良比較対象GE-Actの48.75％を36.25ポイント上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FAWAMの仕組み
- 01映像・指示・力の履歴
- 02動作と力を同時予測
- 03予測力と実測力を比較
- 04残りの動作を修正
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FAWAMは、物に触れ続ける作業で接触力を予測し、実測値に応じてロボットの動作を調整する手法である。拭き取りや皮むきでは、押す力が弱すぎたり強すぎたりすると作業を続けにくい。
画像だけでは、接触の弱さ、過大な圧力、引っ掛かりを判断しにくい。著者らは、従来の力を使う手法では、現在の観測に力を加えても、将来の接触を予測して実行中の修正に使う仕組みが十分ではないと指摘する。
手法
複数視点の映像と言葉による指示から将来の映像に関する特徴を作り、ロボットの姿勢と手首で測った力・トルクの履歴を加えて、次の動作列と将来の力・トルクの列を同時に予測する。６軸の測定値には、押す力と回す力が含まれる。例えば花瓶を拭く動作と、その間に見込む手首の力を一緒に出す。
実行中は予測値と実測値のずれを計算し、予定動作、予測した力、現在の姿勢とともに修正器へ渡す。修正器は人が途中で操作を直した記録と介入しなかった記録から学び、必要と判定した場合に残りの動作へ修正量を足す。動作生成部は１秒に１回、修正器は１秒に10回動く構成である。
新規性
FAWAMは、過去の力を動作生成に使い、次の動作と接触力を同時に予測する。さらに予測した力を実行中の基準にすることで、接触の変化を動作の修正につなげる。
著者らが提案するのは、力の観測、将来の力の予測、実行中の修正を結び付けた構成である。修正器は予測と実測のずれを受け取り、介入が必要と判定した場合だけ予定動作に修正量を加える。
従来手法との違い
比較対象は画像のみを使うπ0.5とGE-Act、力も使うForceVLAとTA-VLAである。GE-ActはFAWAMの基盤であり、比較表では力に関する構成を持たない。TA-VLAは力の予測を補助的な学習目標に使う。
４課題の平均成功率は、GE-Actが48.75％、力を使う２手法が各63.75％、FAWAMが85.00％だった。FAWAMから修正器を外すと73.75％となる。ただし全構成の修正器には追加の人手介入データを使うため、この差を修正機構だけの効果とは言えない。
実験結果
著者らは実機で、ホワイトボード消去、キュウリの皮むき、砂入り箱の傾け操作、花瓶の拭き取りを評価した。各課題の基本モデルと比較手法には同じ90件の実演を使い、FAWAMの修正器には20件の人手介入を追加した。各手法を課題ごとに20回試し、１回の上限は60秒だった。
著者らの４課題の平均成功率はFAWAMが85.00％、画像のみの最良比較対象GE-Actが48.75％、ForceVLAとTA-VLAが各63.75％。差はそれぞれ36.25、21.25ポイントである。修正器を外したFAWAMは73.75％だった。これらは指定された４課題と収集条件での結果であり、追加の介入データの有無も比較時に考慮する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：形や傾きが異なる花瓶の表面を拭く作業で試す。入力は複数視点の映像、拭き取り指示、ロボットの姿勢、手首の６軸力・トルクの履歴とし、出力は次の動作列と予測した力・トルクの列とする。
対象の花瓶で映像、力・トルク、動作を同期させた実演記録が必要になる。接触が乱れた場面での人による修正操作と、介入の有無を示すラベルも集めて修正器を適応させる。実行中に予測と実測を照らして動作を直せるかは、この用途で検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず一種類の花瓶の拭き取りに絞り、複数視点の映像、指示、姿勢、手首の６軸力・トルク、実演動作を時刻を合わせて集める。接触が乱れた際の人による修正操作を記録し、介入の有無のラベルを付けて修正器を学習させる。
同じ対象と試行条件で、画像のみの基本モデル、力を使うが修正器のない構成、修正器を加えた構成を比べる。成功率に加え、予測と実測の力のずれ、過大な力が出た回数、修正後に作業を完了した回数を測る。傾きを変えた試行でも確認し、追加の介入データの効果を分けて記録する。
限界と課題
著者らは、映像と力・トルクが同期した大規模データの不足により、映像生成部には力を統合していないと述べる。人手介入例も限られ、多様な失敗や大きなずれへの回復には限界があるという。手先の力・トルクの予測は接触状態を間接的にしか表さない。
編集上の検証事項は、対象物や接触条件を変えたときの予測誤差、過大な力、修正後の成功率である。外乱実験の説明文には箱の移動がある一方、結果表の対応する課題名はキュウリの切断となっており、その課題別の数値は照合できない。
出典
元のタイトル・要旨を確認する（英語）
FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation
Force signals provide critical interaction cues for contact-rich robotic manipulation. However, existing methods mostly use force as an additional observation modality, without fully exploiting its role in modeling future interaction dynamics or guiding execution-time feedback correction. In this paper, we propose FAWAM, a force-aware world action model that incorporates force information at three levels: perception, prediction, and closed-loop execution. FAWAM first encodes historical 6-axis force/torque signals to modulate action generation, then jointly predicts future actions and end-effector wrenches to explicitly model contact evolution. It further introduces a residual correction module that uses the predicted wrench trajectory as an execution-time reference to refine actions online based on real-time force feedback. Real-world experiments across multiple contact-rich tasks show that FAWAM improves the average success rate by 36.25% over vision-only baselines and 21.25% over existing force-aware baselines, demonstrating the effectiveness of our force-aware framework for robust contact-rich manipulation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01