アーカイブ / Robotics
人型ロボットの運搬・着座を、動作学習と物体位置の推定でつなぐ
PhysHSI
PhysHSIの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2: Overview of PhysHSI . (a) Dataset Preparation: Human motions from a MoCap dataset are retargeted to humanoid motions, and objects are annotated by identifying key contact frames. (b) AMP Policy Training: A discriminator distinguishes between policy-generated and reference motions to facilitate learning of natural behaviors and task completion. (c) Real-World Deployment: The coarse object position is manually specified using LiDAR visualization, and combined with odometry for coarse localization when the object is outside the camera’s FOV. Once within view, AprilTag detection combined with odometry is used for fine-grained, automated localization.
概要
- 接触時点を注記した人と物体の動作データを使い、課題達成と人らしい動き方を学ぶ。
- 実機ではLiDARによる遠方の概略位置から、カメラのAprilTagによる近距離の詳細な位置推定へ切り替える。
- シミュレーションの広い場面条件で着座成功率はPhysHSIが91.32％、RL-Rewardsが73.14％。箱運搬のPhysHSI成功率は本文と表で数値が一致しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PhysHSIの仕組み
- 01人と物体の動作
- 02接触時点を注記
- 03制御方策を学習
- 04物体位置を推定
- 05関節目標を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PhysHSIは、人型ロボットが箱を運ぶ、椅子に座るといった物体との連続したやり取りを扱う。接近から接触、作業完了まで動き続けるには、物体の位置とロボット自身の状態を使って動作を決める必要がある。
実環境では、遠くの物体がカメラの視野外にあり、近づいても体や物体によって隠れる。著者らは、人らしい動作の学習と、見え方が変わる中での位置推定を一つのシステムにつないだ。
手法
まず、人の動作記録をロボットの関節動作へ変換して揺れを抑え、箱を持つ・置く時点を人手で注記する。運搬中の箱の位置は両手の中点などから補う。シミュレーションでは強化学習を使い、課題達成と動作の滑らかさを評価しながら試行を重ねる。判別器が手本と生成動作を見分け、その結果を人らしい動き方を学ぶ手掛かりにする。
実機では、LiDARの点群表示で物体の初期位置を手動指定し、遠方ではロボットの移動量から相対位置を更新する。近づいてカメラがAprilTagという目印を検出すると、物体の詳細な位置・向きを使う。例えば箱の運搬では、持った後に箱が視野から消えたら物体情報を隠し、関節など自分自身の観測から次の関節目標位置を出す。
新規性
著者らの提案は、人と物体の接触を含む動作から制御方策を学ぶ仕組みと、実機の物体位置推定を統合した点にある。方策とは、観測に応じて次の動作を決める規則を指す。
遠くではLiDARと移動量による概略位置を使い、カメラが目印を捉えた後は詳細な位置・向きへ切り替える。箱を持って視野から外れた場合は物体情報を隠し、ロボット自身の状態を頼りに動作を続ける。
従来手法との違い
シミュレーションでは二つの基準手法と比較した。RL-Rewardsは参照動作を使わず、歩行や課題達成などへの報酬を設計して学ぶ。Tracking-BasedはPhysHSIと同じ、各課題およそ2～5本の動作軌道を追跡する。
PhysHSIは軌道を一コマずつ追う代わりに、参照動作の様式を学習の手掛かりにする。比較は、動作データに含まれる場面と、課題空間から物体や目標の条件を広く選ぶ場面に分けている。
実験結果
著者らはIsaacGymで箱運搬、着座、ベッドへの横臥、椅子からの起立を比較した。成功率は箱の設置または所定の姿勢の達成で測る。人らしさはGemini-2.5-Proが動作映像を0～5点で評価した。各条件は5つの乱数設定で、設定ごとに1000試行と3本の評価用映像を用いた。
課題空間から場面を選ぶ条件で、着座成功率はPhysHSIが91.32％、RL-Rewardsが73.14％、Tracking-Basedが1.12％だった。箱運搬のPhysHSI成功率は表Iの84.60％、本文の81.34％、表IIの79.34％が一致しないため採用を保留する。実環境での4課題の成功は報告されるが、確認できた本文の範囲では成功率と試行数は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建物内の決まった区間で、箱を指定位置へ運ぶ作業を試す。箱の寸法と推定位置、搬送先、ロボットの関節状態を入力し、接近から設置までの関節目標位置を出力する。位置推定にはLiDARとカメラを使う。
対象ロボットに合わせた運搬動作データと、持ち上げ・設置の接触時点のラベルを用意する。箱に付けた目印の検出と、現場の箱・通路に合わせた位置推定と学習の調整が必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：箱一種類、搬送先一カ所で始める。対象ロボット用の運搬動作データと、持ち上げ・設置の接触時点のラベルを用意する。LiDARでの初期位置指定、カメラによるAprilTag検出、箱を持った後の観測欠落を同じ作業区間で確認する。
単純な軌道追跡を基準に同条件で試し、設置成功率と所要時間を記録する。箱の位置と搬送先を変えた試行も分けて集計し、見失った回数とその後の失敗を数える。現場の箱や通路に合わせた位置推定と方策の調整後、条件ごとの結果を比べる。
限界と課題
著者らは、参照動作の場面だけを開始状態に使うと多様な場面への適応が難しく、学習中に急な関節動作も生じると述べる。実機では視野の狭さや遮蔽で物体を見失うため、開始状態の混合、動作の平滑化、観測欠落を模擬した学習を採用した。
編集上の検証事項は、手動で指定する初期位置と物体の目印を現場で安定して扱えるか、箱を持った後に見失っても設置できるかである。確認できた本文の範囲では、実環境の成功率と試行数は確認できない。
出典
元のタイトル・要旨を確認する（英語）
PhysHSI: Towards a Real-World Generalizable and Natural Humanoid-Scene Interaction System
Deploying humanoid robots to interact with real-world environments--such as carrying objects or sitting on chairs--requires generalizable, lifelike motions and robust scene perception. Although prior approaches have advanced each capability individually, combining them in a unified system is still an ongoing challenge. In this work, we present a physical-world humanoid-scene interaction system, PhysHSI, that enables humanoids to autonomously perform diverse interaction tasks while maintaining natural and lifelike behaviors. PhysHSI comprises a simulation training pipeline and a real-world deployment system. In simulation, we adopt adversarial motion prior-based policy learning to imitate natural humanoid-scene interaction data across diverse scenarios, achieving both generalization and lifelike behaviors. For real-world deployment, we introduce a coarse-to-fine object localization module that combines LiDAR and camera inputs to provide continuous and robust scene perception. We validate PhysHSI on four representative interactive tasks--box carrying, sitting, lying, and standing up--in both simulation and real-world settings, demonstrating consistently high success rates, strong generalization across diverse task goals, and natural motion patterns.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01