新着研究 / Robotics
道具の選択から移動しながらの使用まで、人型ロボットを18課題で評価
HumanoidToolBench
HumanoidToolBenchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Overview of HumanoidToolBench . A benchmark for humanoid tool use with 18 tasks spanning three scenarios, three execution levels, and standard and decoy tool sets. With 55 tool assets and 3.1k demonstrations, we evaluate seven policies in simulation and three on the real robot.
概要
- 3場面、3実行段階、2種類の候補構成を組み合わせた18課題を用意する。
- ToolBookにはシミュレーション3,003件と実機91件の実演が含まれる。
- 適切な道具を選べても作業を完了できない差や、未知の道具への弱さを報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HumanoidToolBenchの仕組み
- 01画像と目的の指示
- 02候補の道具選択
- 03把持と身体操作
- 04課題の完了判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
HumanoidToolBenchは、人型ロボットが道具を選び、その道具で作業を完了するまでを評価する。届かない物を押す、引き寄せる、硬い対象をたたくといった作業では、道具の名前を認識するだけでは十分ではない。
長さ、形、材質が目的に合うか判断し、握り方と身体の移動を調整する必要がある。従来の評価では道具の理解と操作が別々になりやすく、適切な選択の後にどの段階で失敗するのかを捉えにくかった。
手法
道具名を含まない言語目標と頭部カメラ画像、ロボット状態を入力する。場面は球を押すBallMove、フックで引くBallRetrieve、氷を砕くIceBreakの3種類だ。各場面に、道具を選んで持ち上げるL0、静止して使うL1、移動しながら使うL2を設ける。
通常モードでは適切な道具と無関係な物を置き、おとりモードでは必要な性質を欠く似た道具を追加する。例えば球を遠くへ押す課題なら、十分に長い棒と短い棒を比べさせる。接触、正しい道具の持ち上げ、対象への接触、最終成功を記録し、選択と実行を分けて調べる。
新規性
機能に合った道具の選択、静止操作、移動操作を同じ人型ロボットの評価にまとめた点が中心となる。道具の候補構成を変えつつ実行段階も変えることで、外見への依存と身体操作の難しさを分けられる。
最終成功率だけでなく途中の接触事象も記録する。正しい道具に触れたが握れない場合と、握れたが目標を達成できない場合を区別できる。
従来手法との違い
本文は、PhysToolBenchが視覚質問応答、DexCraftが道具を与えられた単腕の把持、RoboWitsが双腕での選択を扱うと整理する。HumanoidToolBenchは、人型の全身操作と移動を含む選択後の実行までを対象に広げる。
既存の人型評価にもスプーンや窓拭きの課題はあるが、機能が異なる候補から選ぶ条件を一緒に評価していない。本研究の比較軸は道具の数だけでなく、判断と実行を同じ条件で追えるかにある。
実験結果
著者らは55種類の道具資産を使い、18課題でシミュレーション7方策、実機3方策を評価した。ToolBookは計3,094軌跡で、シミュレーション3,003件、実機Unitree G1で91件を含む。実機評価は静止した球の移動と回収を対象とする。
要旨では、選択と完了に大きな差があり、GR00T N1.7の追加試験では未知の道具で選択精度が低下し、無関係な指示でも作業を継続したと報告する。全18課題を実機で評価した結果として読むことはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案は、工場内で補助工具を使うロボットの導入評価だ。対象作業の画像と道具名を指定しない目的を入力し、選択、持ち上げ、対象接触、作業完了の記録を出力する。
似た工具を追加し、届く長さや引っ掛けられる形を理解しているか確認する。最終成功だけで調整するより、認識の問題か把持の問題か移動の問題かを絞り、実演データの追加先を決めやすくなる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、まず球を押すような単純な課題に絞る。適切な棒、短い棒、無関係な物を用意し、候補の位置と外見を変えながら、正しい初回接触と持ち上げ率、完了率を測る。
静止条件を基準に移動条件を追加し、途中失敗を同じ事象定義で記録する。言い換えた指示と無関係な指示も分けて試し、指示が変わったときに惰性的に同じ作業を続けないか確認する。
限界と課題
著者らが示す弱点は、道具を選べる能力と使い切る能力の隔たり、未知の道具への弱さ、指示変更への不十分な応答だ。実機実演と評価の対象は限定され、全場面の現場性能を示すものではない。
編集上の確認事項として、実作業の力加減、工具の滑り、対象物の違い、移動中の安定性が残る。シミュレーションで得た順位に加え、対象工具と設備で同じ失敗分類が成り立つか調べたい。
出典
元のタイトル・要旨を確認する（英語）
HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution
As robotic hardware and learning methods advance, humanoids need tools to perform tasks beyond their inherent physical limits. Successful tool use requires selecting a suitable tool and coordinating manipulation and, when needed, locomotion to complete the task. Existing benchmarks do not jointly evaluate these capabilities on a humanoid. We introduce HumanoidToolBench, an 18-task benchmark spanning three scenarios, three execution levels, and two tool-set modes, together with ToolBook, a dataset of 3.1k demonstrations collected in simulation and on a real Unitree G1. Evaluation of seven policies in simulation and three on the real robot reveals substantial gaps between selecting a suitable tool and completing the task. Focused GR00T N1.7 probes show reduced selection accuracy on unseen tools and continued task execution under unrelated instructions. Code and data are available at https://snu-pi.github.io/HumanoidToolBench/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-04