アーカイブ / Robotics
人がいる作業空間でのロボット操作を学ぶ実演データセットHABIT
HABIT
HABITの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : HABIT comprises 164 hours of human-robot interaction demonstrations across 60 tasks spanning three roles ( Collaborator , Coworker , and Supervisor ) defined by how the human and robot interact within a subtask.
概要
- 人が同席する60課題について、10,563実演、164.19時間のロボット操作を収録した。
- 共同作業・並行作業・人による指示の３種類を設け、人とロボット双方の小作業と実行順を記録した。
- 著者らの６課題の評価では、比較可能な４課題で人同席データによる学習の利点が見られ、並行作業で成功率の差が最大だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HABITの仕組み
- 01人同席の作業
- 02小作業と順序の記録
- 03VLAの追加学習
- 04ロボットの操作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HABITは、人が同じ作業空間にいるときのロボット操作を学ぶための実演データセットである。人がいない場面の実演には、差し出された手を待つ、進路を譲る、指差しを受けて動くといった行動の手掛かりが含まれない。
家庭や工場などの共有空間では、物の位置だけでなく、人の動きや合図によって次の操作が変わる。著者らは、人と同席した実演を収集し、この違いを学習データに含めた。
手法
HABITは課題を、人と共同で進める、人と並行して作業する、人が指示する、の３種類に分ける。各課題には、人とロボットの小作業を誰がどの順に行うか示す作業手順を定める。例えば棚掃除では、人が棚の物を持ち上げた後、ロボットがその段を拭く。
遠隔操作者は、相手の観察できる行動を受けてロボットを動かす。５台の同期カメラで記録するが、著者らのモデル学習にはロボット側の３台の映像を使う。視覚・言語・動作モデル（VLA）は、映像と作業指示を受けてロボットの操作を出すモデルであり、著者らは収集した実演で既存の２モデルを追加学習した。
新規性
HABITの新しさは、人が同席することを学習データの多様性の一つとして扱い、共同作業、並行作業、人による指示を60課題にわたって収録した点にある。人とロボット双方の小作業に注釈を付け、その実行順も記録する。
収集時には、操作者が相手の観察できる行動を受けてから動くよう定めた。接近時に腕を引く、人の動く速さに合わせる、指差しを待つといった動作を、映像に残る手掛かりと結び付けて記録する設計である。
従来手法との違い
Robot-onlyは、同じ課題・環境・遠隔操作者を用い、人が同席しない実演で学習する比較条件である。著者らは各モデル内で学習回数を5,000回、バッチサイズを128にそろえ、データ条件の違いを調べた。
人との共同作業２課題は、相手がいないと成立しないため比較対象外となる。人が指示する２課題では、両条件に置き場所の番号を含む言語指示を与え、HABIT側には人の指差しも加わる。指示文だけで対象を特定できる課題もあるため、指差しの効果は課題ごとに読む必要がある。
実験結果
著者らは60課題から各種類２課題、計６課題を選び、π0.5とGR00T N1.6を評価した。各課題・モデル・条件を同じ人間操作者の下で20回試し、全てのロボットの小作業で物の操作、手順の順守、人との非接触を満たした割合を成功率とした。
著者らによれば、比較可能な４課題では両モデルにHABIT学習の利点が見られ、並行作業で差が最大だった。ただしDonut Servingの２条件は同程度で、図の課題別数値は確認できた本文の範囲では分からない。新課題のShelf Cleaningでは、直接追加学習は200実演でも成功率45％以下、HABITで事前学習後は100実演で60％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：作業者とロボットが同じ机で品物を仕分ける場面を想定する。ロボット側のカメラ映像と作業指示を入力とし、作業者の手が進路に入る場面を含めて、把持・運搬・腕を引く操作を出力する。
適用には、対象の机と品物を使った人同席の操作実演、ロボット側の映像と操作記録、双方の小作業と順序のラベルが要る。対象環境でモデルを追加学習し、作業者の動きに応じて腕を引けるかを確かめる応用仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の机と品物で、人が同席する操作実演と、人がいない同一課題の実演を集める。ロボット側のカメラ映像、作業指示、操作記録をそろえ、人とロボット双方の小作業、順序、接近時に腕を引く場面、作業の成否を記録する。
同じモデルを各データ条件で追加学習し、人が作業する場面で比べる。全工程の成功率と、接触、順序違反、腕を引くべき場面での失敗を数える。作業者や服装、物の順番も変え、特定の見た目や配置だけで成立する動作ではないか確かめる。
限界と課題
著者らが挙げる制約は、収集が１環境、10人の人間操作者、人とロボット各１体の構成に限られることである。体格や動き方、環境条件、複数人がいる状況を十分に覆えない。著者らは実環境での評価も再現しにくいと述べる。
編集上の検証事項は、導入先の作業者、服装、机の配置でも、モデルに必要な人の動きや合図がロボット側の映像から読めるかである。接触の有無に加え、接近時に腕を引くタイミングと作業順序を、現場の手順に照らして確認したい。
出典
元のタイトル・要旨を確認する（英語）
HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation
Large-scale demonstration datasets have been central to recent progress in general-purpose robot policies. However, existing datasets are collected in human-absent settings, and policies trained on such data may perform tasks competently in isolation but fail to exhibit human-aware behaviors. To address this gap, we introduce HABIT, a large-scale robot demonstration dataset for human-present environments. We organize tasks into three roles capturing distinct modes of human-robot interaction: Collaborator, where human and robot jointly accomplish a task; Coworker, where they pursue separate tasks in a shared space; and Supervisor, where the human directs the robot. The dataset comprises over 10K episodes and over 160 hours across 60 tasks. Our experiments show that training on human-present data elicits human-aware behaviors that robot-only data fails to produce: spatiotemporal synchronization in Collaborator tasks, yielding in Coworker tasks, and gesture grounding in Supervisor tasks. Moreover, training on HABIT enables rapid adaptation to new human-robot interaction tasks. By introducing human presence as a new axis of dataset diversity, HABIT extends robot policies to environments shared with humans.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01