アーカイブ / Robotics / Computer Vision
衣類の畳み方を少数の実演で調整する選好学習
Diffusion-RKO
Diffusion-RKOの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Two different user preferences for folding the same garments demonstrate how variations in execution can reflect personal styles or practical needs. Capturing and aligning with such preferences is essential for enabling robots to perform personalized and user-aligned behaviors in deformable object manipulation tasks like cloth folding.
概要
- RKOは、衣類操作の拡散方策を実演ごとの好悪ラベルで調整し、画像特徴が似た例の学習上の重みを変える。
- 実機では三種類の衣類と各三つの畳み方を評価し、固定件数の比較には好ましい実演60件と好ましくない実演60件を用いた。
- ズボンの好み1と3ではRKOが通常の拡散方策を上回った一方、好み2ではRPOのスコアがRKOより高かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Diffusion-RKOの仕組み
- 01衣類の画像・動作実演
- 02基準方策の学習
- 03好悪の実演で調整
- 04畳む動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
衣類は操作中に形が変わり、同じ衣類でも人によって望む畳み方が異なる。布のつかみ方や畳む順序を言葉だけで細かく伝えにくいため、実演から好みを学ぶ方法が必要になる。
一方、ロボットを動かして実演を集めるには時間がかかる。著者らは、既に衣類の畳み方を学んだ制御モデルを出発点に、少数の新しい実演で別の畳み方へ調整する課題を扱った。
手法
まず、画像、ロボット状態、動作を記録した実演で基準の拡散方策を学ぶ。拡散方策は、観測に応じて雑音を少しずつ取り除き、動作列を作る制御モデルである。新しい畳み方を望む場合は、その実演に「好ましい」、避けたい畳み方の実演に「好ましくない」というラベルを付ける。
RKOは、調整中の方策と基準方策が各実演の動作をどれだけ説明できるかを比べ、ラベルに沿って更新する。さらに、学習バッチ内で好悪の実演の画像特徴を比較し、見た目が近く区別しにくい例を重く扱う。実行時には観測画像などを受け取り、衣類を畳む動作列を生成する。
新規性
Diffusion-RKOは、実演ごとに好ましいかどうかを示すKTOの二値ラベル方式に、RPOの画像特徴の類似度に基づく重み付けを組み合わせる。好ましい実演と好ましくない実演を、事前に一対ずつ対応付ける必要はない。
著者らは、衣類操作の拡散方策を好みの畳み方に合わせる課題で、DPO、RPO、KTOを系統的に比較した点も貢献として挙げる。
従来手法との違い
比較対象は、好ましい実演だけで学習する通常の拡散方策と、選好学習のDPO、RPO、KTOである。DPOは好悪の実演を対にして比較し、RPOは組内の画像特徴の類似度も使う。KTOは実演ごとの二値ラベルで学習する。
RKOはKTOの学習に、同じ学習バッチ内の好悪の実演の類似度から求めた重みを加える。著者らは各手法に同じ好ましい実演を使い、指定した畳み方への一致度と実演数を変えた際の成績を比べた。
実験結果
著者らは実機でズボン、袖付き衣類、Tシャツを扱い、それぞれ三つの畳み方を設定した。把持と配置の正しさを段階ごとに採点して合計を正規化し、各方策を課題ごとに10回実行した。固定件数の比較では、各設定に好ましい実演60件と好ましくない実演60件を用いた。
著者らのズボンの結果では、好み1のRKOは0.910±0.166、通常の拡散方策は0.701±0.377、好み3では順に0.620±0.367、0.453±0.416だった。好み2はRPOが0.790±0.233で、RKOの0.760±0.334を上回った。この数値だけで全衣類・全設定の優劣は決められない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業場で袖付き衣類を、担当者が指定する順序で畳む。入力は衣類のRGB画像とロボット状態、出力は次の把持と配置につながる動作列とし、作業者が指定順序との一致を確認する。
適応には、画像・状態・動作を同期した基準用の実演に加え、望む畳み方と避けたい畳み方の実演を集め、それぞれに二値ラベルを付ける。基準方策を学習してからRKOで調整する構想であり、この作業場での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を袖付き衣類の一つの畳み方に絞り、RGBカメラ画像、ロボット状態、操作者の動作を同期して記録する。基準となる畳み方の実演で方策を学び、指定どおりの実演と避けたい実演を別に集めて好悪のラベルを付ける。
同じ好ましい実演を用いて、通常の拡散方策とRKOを比較する。初期配置を変えて実行し、正しい把持・配置の正規化スコア、指定順序の達成、必要な実演件数を記録する。学習前の畳み方を再実行し、調整後の変化も確かめる。
限界と課題
著者らは、布の変形を正確に模擬する難しさと、大規模な布操作の実演データが乏しいことを、実機評価を選んだ背景に挙げる。評価では、ロボットの特異姿勢、台との衝突、回復不能な状態に至った場合にも実行を止めている。
編集上の検証事項は、材質や初期配置が変わった際の成績、好悪のラベル付けに要する作業量、失敗後の回復である。本文はRKOの収束保証への見通しに触れるが、確認できた本文の範囲では保証が確立した結果とは扱えない。
出典
元のタイトル・要旨を確認する（英語）
Preference Aligned Visuomotor Diffusion Policies for Deformable Object Manipulation
Humans naturally develop preferences for how manipulation tasks should be performed, which are often subtle, personal, and difficult to articulate. Although it is important for robots to account for these preferences to increase personalization and user satisfaction, they remain largely underexplored in robotic manipulation, particularly in the context of deformable objects like garments and fabrics. In this work, we study how to adapt pretrained visuomotor diffusion policies to reflect preferred behaviors using limited demonstrations. We introduce RKO, a novel preference-alignment method that combines the benefits of two recent frameworks: RPO and KTO. We evaluate RKO against common preference learning frameworks, including these two, as well as a baseline vanilla diffusion policy, on real-world cloth-folding tasks spanning multiple garments and preference settings. We show that preference-aligned policies (particularly RKO) achieve superior performance and sample efficiency compared to standard diffusion policy fine-tuning. These results highlight the importance and feasibility of structured preference learning for scaling personalized robot behavior in complex deformable object manipulation tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01