アーカイブ / Robotics
医療ロボット20機種の映像と動作を集め、縫合モデルを検証するOpen-H-Embodiment
Open-H-Embodiment
Open-H-Embodimentの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Open-H-Embodiment overview. ( A ) Geographic distribution of the 49 participating institutions across North America, Europe, the Middle East, and Asia. ( B ) The 20 healthcare robotic platforms represented in the dataset, spanning surgical systems (da Vinci Si, da Vinci Xi, dVRK, dVRK-Si, MIRA, Versius, BiTrack, Maestro, Torin), general-purpose manipulators adapted for clinical use (Franka Panda, UR5e, Kuka Med 14), and emerging platforms. ( C ) Representative frames from the dataset illustrating the diversity of tasks, viewpoints, and tissue types covered, including robotic surgery, robotic ultrasound, and related healthcare manipulation tasks. ( D ) The dataset comprises 770 hours of synchronized multimodal demonstrations spanning language annotations, video observations, and kinematic trajectories. This corpus supports two downstream directions: training GR00T-H, a healthcare-focused vision-language-action model targeting surgical autonomy, and training Cosmos-H-Surgical-Simulator, a multi-embodiment, action-conditioned world model for surgical scene synthesis.
概要
- Open-Hは119データセット、770時間の対応付けられた映像と運動記録を収め、20種類のロボットを含む。
- SutureBotの5工程を連続して完了したのはGR00T-Hが20試行中5試行、比較した3モデルが各20試行中0試行だった。
- 豚腹部組織での29工程の平均成功率は64％。連続完了率や患者を対象とする自律動作の成績を示す数字ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Open-H-Embodimentの仕組み
- 01映像と運動記録
- 02時刻を対応付ける
- 03医療データで追加学習
- 04ロボット動作・予測映像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
医療ロボットに作業を学ばせるには、カメラ映像と、その時に器具がどこへ動いたかを示す運動記録を組にしたデータが要る。著者らによると、従来の公開データは小規模で、単一の機種や作業に集中していた。
手術では柔らかい組織が変形し、針をつかむ操作から結ぶ操作まで複数の工程が続く。多様な機種と作業の記録を集めることで、共通のデータから学んだモデルを個々の作業へ調整できるか検証しやすくなる。
手法
Open-Hは、映像と器具の位置・動きを表す運動記録を時刻で対応付けたデータ群だ。著者らは手術操作、ロボット超音波、内視鏡などの記録を集約した。既存のGR00T-N1.6をこのデータで追加学習し、映像や作業指示を受けてロボット動作を出す「視覚・言語・行動モデル」GR00T-Hを作った。たとえば縫合パッドの映像から、針をつかむ動作を出す。
別の用途では、既存のCosmos-Predict 2.5を手術データで追加学習し、Cosmos-H-Surgical-Simulatorを作った。これは現在の場面とロボット動作を条件に、続く場面の映像を生成する「世界モデル」だ。著者らは、実機を動かす前の模擬評価や合成データ作成に用いる構成を示している。
新規性
著者らが新規性として挙げるのは、映像と運動記録を対応付けた医療ロボットのデータを、機種や作業をまたいで集約した点だ。119データセット、770時間、20機種を含む。
同じデータ群を使い、動作を出すGR00T-Hと、動作に応じた場面の映像を生成するCosmos-H-Surgical-Simulatorを学習した。後者は一つの学習済みモデルで9機種を扱うと著者らは述べる。
従来手法との違い
論文の比較表では、運動記録を含む従来の手術データはJIGSAWSが約3時間、SutureBotが約6時間、ImitateCholecが約20時間で、いずれも1機種だった。Open-Hは770時間、12万4019エピソード、20機種を収める。
縫合での比較相手はGR00T-N1.6、手術向けのACT、Open-Hの一部で追加学習したLingBot-VAである。各モデルを対象機種と作業の少量データでさらに調整しており、報告値は事前学習だけの性能差ではない。
実験結果
著者らはSutureBotのシリコン製パッドと針を使い、針をつかむ、受け渡す、通す、引き抜く、結ぶという5工程の連続成功を測った。GR00T-Hは20試行中5試行を完了し、ACT、GR00T-N1.6、LingBot-VAは各20試行中0試行だった。LingBot-VAだけは別の評価回で試されている。
別に、豚腹部組織を使う縫合の29工程を各10回試し、著者らは工程別成功率の平均を64％と報告した。これは全29工程を連続完了した割合ではない。両評価は対象と測り方が異なるため、25％と64％を同じ成功率として比べられない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：シリコン製の縫合練習パッドで、針の受け渡しを補助する動作モデルを試す。作業指示、パッドを写す映像、対象ロボットの位置・姿勢を入力とし、次のロボット動作を出力する想定だ。工程の成否は別途記録する。
対象機種で撮影し、映像と運動記録を時刻で対応付けた実演データが必要になる。工程の開始・終了と成功・失敗を人がラベル付けし、そのデータでモデルを追加学習する。運用中は工程ごとに人が継続を判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず練習パッド上の針の受け渡しだけを対象にする。対象ロボットのカメラ映像と位置・姿勢の記録を時刻同期して集め、人が工程の開始・終了と成功・失敗をラベル付けする。その実演データで対象機種向けに追加学習し、同じデータで学習したACTを比較基準に置く。
針とパッドの位置をそろえた試行に加え、位置を変えた試行でも工程成功率を記録する。針の落下や途中停止も数え、条件別に比較する。人が停止できる練習環境で再現性を確かめる計画であり、患者を対象とする性能は別途検証が必要だ。
限界と課題
著者らの豚腹部組織での評価では、糸を切る二つの工程の成功はそれぞれ10回中2回と3回だった。精密で素早い切断動作が一因かもしれないと著者らは述べる。29工程の平均成功率は、全工程を連続して完了する確率ではない。
編集上の検証事項は、収録機種や環境の偏りが移行先での成績にどう影響するか、失敗時に安全に停止できるかである。確認できた本文の範囲では、患者を対象とする自律動作の成績や、映像生成モデルによる模擬評価の定量結果は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Open-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics
Autonomous medical robots hold promise to improve patient outcomes, reduce provider workload, democratize access to care, and enable superhuman precision. However, autonomous medical robotics has been limited by a fundamental data problem: existing medical robotic datasets are small, single-embodiment, and rarely shared openly, restricting the development of foundation models that the field needs to advance. We introduce Open-H-Embodiment, the largest open dataset of medical robotic video with synchronized kinematics to date, spanning more than 50 institutions and multiple robotic platforms including the CMR Versius, Intuitive Surgical's da Vinci, da Vinci Research Kit (dVRK), Rob Surgical BiTrack, Virtual Incision's MIRA, Moon Surgical Maestro, and a variety of custom systems, spanning surgical manipulation, robotic ultrasound, and endoscopy procedures. We demonstrate the research enabled by this dataset through two foundation models. GR00T-H is the first open foundation vision-language-action model for medical robotics, which is the only evaluated model to achieve full end-to-end task completion on a structured suturing benchmark (25% of trials vs. 0% for all others) and achieves 64% average success across a 29-step ex vivo suturing sequence. We also train Cosmos-H-Surgical-Simulator, the first action-conditioned world model to enable multi-embodiment surgical simulation from a single checkpoint, spanning nine robotic platforms and supporting in silico policy evaluation and synthetic data generation for the medical domain. These results suggest that open, large-scale medical robot data collection can serve as critical infrastructure for the research community, enabling advances in robot learning, world modeling, and beyond.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01