アーカイブ / Robotics / Computer Vision / Generative AI
触覚画像を別のセンサー向けに変換し、既存のロボット操作処理へ渡す
Cross-Sensor Touch Generation
Cross-Sensor Touch Generationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Transferring manipulation skills between touch sensors via cross-modal prediction. We execute a manipulation skill designed for one touch sensor (Soft Bubble) on a robot equipped with a different sensor (GelSlim). We demonstrate two approaches to the translation of one touch signal to another — that is, we predict what the object would have felt like if it were manipulated with Soft Bubble rather than GelSlim. The signal is then used for the downstream skill.
概要
- T2Tは同じ位置に触れたセンサー間の画像の組から直接変換を学び、T2D2は深さを介して変換する。
- 未学習の把持でSoft BubbleからGelSlimへ変換した際、PSNRはT2Tが30.92、T2D2が21.69だった。
- 鉛筆挿入の成功数はT2Tが21/30、VQ-VAEが7/30。一方、GelSlimからSoft Bubbleへの未学習の把持では、FIDはT2D2の方が低い。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Cross-Sensor Touch Generationの仕組み
- 01元の接触画像
- 02直接生成または深さ推定
- 03深さの座標調整
- 04変換先の接触信号
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、ある触覚センサーの接触信号を別のセンサー向けの信号に変換する。視覚式触覚センサーは接触面の変形を画像や深さで捉えるが、機種によって接触面積、解像度、変形の仕方が異なる。
そのため、一つの機種向けに作られた姿勢推定や操作の処理を、別の機種を備えたロボットで使いにくい。センサーごとに処理を開発し直す負担を減らせるかが、実用上の課題である。
手法
Touch2Touch（T2T）は、二つのセンサーで対象の同じ位置に触れた画像の組を学習する。元の画像を条件として、雑音から画像を段階的に作る拡散モデルで変換先の信号を直接生成する。例えば、GelSlimの接触画像からSoft Bubbleの信号を作る。Soft Bubbleを出力する場合は、生成値を深さの尺度に戻す調整も行う。
Touch-to-Depth-to-Touch（T2D2）は、元の画像から接触面の奥行きを表す深さマップと接触領域を推定する。撮像系とセンサー間の位置関係に合わせて深さを変換し、そこから変換先の信号を生成する。センサー間で同じ位置に触れた画像の組は不要だが、各センサーの触覚画像と正解の深さを対応づけた学習データを使う。
新規性
著者らは、異なる視覚式触覚センサーの信号を、変換先のセンサーが出す画像として明示的に生成する二つの経路を提案した。これにより、変換先向けの処理へ生成画像を入力できる。
T2Tは同じ対象位置に触れたセンサー間の画像の組を使う。T2D2は深さを共通の中間表現とし、その組を使わずに学習する。ただし、各センサーの触覚画像と正解の深さを対応づけたデータは必要である。
従来手法との違い
従来研究には、複数の触覚センサーの画像を共通の特徴表現に写す方法がある。本研究は変換先の触覚信号を生成し、既存の姿勢推定や操作処理へ入力する。著者らは、生成したSoft Bubble信号を用いる物体姿勢の位置合わせも試した。
手法内では、対応する画像の組で学ぶT2Tと、深さを介するT2D2を比べる。工具挿入などでは別の生成法VQ-VAEも比較対象とした。T2Tの優位性は全指標に共通せず、変換方向と評価対象を分けて読む必要がある。
実験結果
著者らはSoft Bubble、GelSlim、DIGITを使い、未学習の把持・工具で画像品質と手中の物体姿勢推定を評価した。未学習の把持でSoft BubbleからGelSlimへ変換した場合、T2TのPSNRは30.92、SSIMは0.93、T2D2は21.69、0.83だった。PSNRとSSIMは高いほど良い。
GelSlimからSoft Bubbleへ変換する鉛筆挿入では、成功数はT2Tが21/30、VQ-VAEが7/30だった。一方、未学習の把持で同方向のFIDはT2Tが135.66、T2D2が122.06で、低いほど良いこの指標ではT2D2が上回る。これは「T2TのFIDが一貫して低い」という著者らの本文記述と表の数値が一致しない例である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：GelSlimを備えたロボットで、Soft Bubble向けの工具姿勢推定処理を試す。入力はGelSlimの接触画像、出力はT2Tで生成したSoft Bubble信号と、それを使った工具の姿勢推定値とする。製造現場での有効性は未検証である。
準備には、両センサーで同じ工具の同じ位置に触れた学習画像と、姿勢を照合する正解ラベルが要る。接触位置を合わせて変換器を学習し、生成信号の尺度を調整してから既存処理へ渡す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：GelSlimからSoft Bubbleへの工具姿勢推定に対象を絞る。両センサーで同じ接触位置を測った学習画像、姿勢の正解ラベル、センサーの位置関係と撮像条件を用意し、T2Tを学習する。新たなセンサーを増やす場合は、その組のデータ収集と信号尺度の調整が必要になる。
実測したSoft Bubble信号を既存処理へ入れた結果を基準に、変換信号を使った位置誤差、角度誤差、挿入成功数を同じ工具と試行条件で比べる。接触位置と生成値の調整内容を記録し、学習に使わなかった工具でも確認する。
限界と課題
著者らは、T2T用の正確な対応画像の収集に時間と設備を要すると述べる。T2D2は深さ推定、センサーの位置合わせ、撮像系の設定に誤差があると影響を受ける。両方式とも、接触領域が共通の形状情報を十分に含むことを前提とする。
著者らが扱ったのは視覚式触覚センサーと特定の操作課題である。編集上の検証事項は、対象が柔らかく変形する場合や連続動作中にも、生成画像と姿勢推定が使えるかという点だ。別方式の触覚センサーへの適用実績は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Cross-Sensor Touch Generation
Today's visuo-tactile sensors come in many shapes and sizes, making it challenging to develop general-purpose tactile representations. This is because most models are tied to a specific sensor design. To address this challenge, we propose two approaches to cross-sensor image generation. The first is an end-to-end method that leverages paired data (Touch2Touch). The second method builds an intermediate depth representation and does not require paired data (T2D2: Touch-to-Depth-to-Touch). Both methods enable the use of sensor-specific models across multiple sensors via the cross-sensor touch generation process. Together, these models offer flexible solutions for sensor translation, depending on data availability and application needs. We demonstrate their effectiveness on downstream tasks such as in-hand pose estimation and behavior cloning, successfully transferring models trained on one sensor to another. Project page: https://samantabelen.github.io/cross_sensor_touch_generation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01