表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

四足ロボットが前脚で投げた箱を捕る:軌道予測と捕球点の選び方

Dynamic Object Catching with Quadruped Robot Front Legs

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Dynamic Object Catching with Quadruped Robot Front Legsの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1 : The Unitree Go1 quadruped robot elevated on its rear legs, detecting a thrown object, predicting a suitable catching position, and successfully catching it with its front legs.

出典:Dynamic Object Catching with Quadruped Robot Front Legs / arXiv ↗

概要

  • 後脚と後ろ膝で立った四足ロボットが、機上カメラで投げた物体を追い、予測点で前脚を閉じる。
  • 捕球点の選択では、垂直面との交点、通常姿勢の前足間の中心への近さ、人による捕球位置の分布という三方法を比較した。
  • 著者らは、人の捕球位置の分布を使う方法が最良となり、正面2メートルからの50回の投球で捕球成功率80%だったと報告した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Dynamic Object Catching with Quadruped Robot Front Legsの仕組み

左から右へ読む
  1. 01カラー・深度画像
  2. 02物体の三次元位置
  3. 03軌道と捕球点の予測
  4. 04前脚の開閉

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

この研究は、四足ロボットが飛来物を機体に備わる前脚で捕る課題を扱う。画像から物体を見つけるだけでなく、通過する場所と時刻を予測し、到達までに前脚を動かす必要がある。

著者らが挙げる従来の四足ロボットの捕球例では、背中に付けた網や籠を使う。本研究では、後脚で立って前脚を空け、既存の脚で物体を挟む構成を検討した。

手法

ロボットを後脚と後ろ膝で支えて立たせ、機上カメラで投げた物体を撮る。追加学習したYOLOv8sがカラー画像中の物体を枠で示し、枠の中心と深度画像の距離からロボット基準の三次元位置を求める。例えば箱を投げた場合、手を離れた後の連続した位置を入力にする。

位置の列には、重力を考慮した最小二乗法、つまり観測点と計算上の軌道との差を小さくする計算で軌道を当てはめ、新しい画像ごとに更新する。捕球点は三方法から選ぶ。うち一つは、人が操作して捕球した位置に確率分布を当てはめるガウス混合モデルを使い、予測軌道上で分布に最も合う点を選ぶ。前脚は目標位置との差に応じて動かすPD制御で位置を合わせ、到達時刻に合わせて閉じる。

新規性

著者らが示すのは、四足ロボットを後脚と後ろ膝で支えて前脚を空け、飛来物の捕球に使う一連の仕組みである。既存の脚を使う構成に、機上での検出、軌道予測、脚の制御を組み合わせた。

捕球点については、予測軌道と垂直面の交点、通常姿勢の前足間の中心に近い点、人が操作した捕球位置の分布に合う点を比較する。

従来手法との違い

著者らが比較したのは、同じ予測軌道から捕球点を選ぶ三方法である。基準となる二方法は、ロボット前方25cmの垂直面との交点と、通常姿勢での前足間の中心に最も近い軌道上の点を使う。

第三の方法は、人がロボットを操作して捕球した位置の記録を選択に加える。著者らはこの方法が最良と報告するが、確認できた本文の範囲では、三方法それぞれの成功率を示す結果表はない。

実験結果

著者らは、投球動画から得た389枚の画像に物体の枠と「Box」の分類を付け、YOLOv8sを追加学習した。検証用データでの物体検出はmAP@50が0.992だった。これは、予測枠と正解枠の重なりを測るIoUのしきい値を0.5とした平均適合率である。

捕球点の分布には、人が操作した100回の捕球記録を使った。著者らは分布を使う方法が三方法で最良となり、ロボット正面2メートルから50回投げる試験で捕球成功率80%を報告する。確認できた本文の範囲では、他の二方法の成功率や試行条件の詳細は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:研究室内の決めた投球位置から箱を投げ、四足ロボットが前脚で捕る実験に適用する。入力は機上カメラのカラー画像と深度画像、出力は更新される捕球点と前脚の動作指令とする。

対象環境で撮影した箱の画像に位置を囲む枠を付けて検出器を調整し、人が操作して捕球した位置も記録する。箱の寸法や投げ方に合わせた調整が必要であり、成功率の改善は実験で確かめる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象の箱、投球位置、背景を決め、実環境のカラー画像に箱を囲む枠と分類ラベルを付ける。深度画像と位置が対応するカメラを用い、検出器と座標変換を対象条件に合わせる。人が操作して捕球した位置も記録し、捕球点を選ぶ分布を作る。

同じ投球条件で、垂直面との交点を選ぶ方法を基準に分布を使う方法を比べる。試行数、捕球成功率、検出失敗数、予測点と実際の通過位置の差を記録する。箱や背景を変えたら、画像ラベルと捕球位置の記録を見直して再測定する。

限界と課題

著者らの軌道予測は、物体が手を離れた後の自由落下を仮定し、空気抵抗を考慮しない。予測した捕球点が前脚の可動範囲を外れる場合、脚の目標位置は範囲内に収めるため、元の予測点に届くとは限らない。

編集上の検証事項は、箱の形や投げ方、背景を変えた際の検出、軌道予測、捕球の成績である。確認できた本文の範囲では、三方法別の試行数や失敗の内訳を照合できず、報告された80%を別条件へ広げて解釈できない。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Dynamic Object Catching with Quadruped Robot Front Legs

This paper presents a framework for dynamic object catching using a quadruped robot's front legs while it stands on its rear legs. The system integrates computer vision, trajectory prediction, and leg control to enable the quadruped to visually detect, track, and successfully catch a thrown object using an onboard camera. Leveraging a fine-tuned YOLOv8 model for object detection and a regression-based trajectory prediction module, the quadruped adapts its front leg positions iteratively to anticipate and intercept the object. The catching maneuver involves identifying the optimal catching position, controlling the front legs with Cartesian PD control, and closing the legs together at the right moment. We propose and validate three different methods for selecting the optimal catching position: 1) intersecting the predicted trajectory with a vertical plane, 2) selecting the point on the predicted trajectory with the minimal distance to the center of the robot's legs in their nominal position, and 3) selecting the point on the predicted trajectory with the highest likelihood on a Gaussian Mixture Model (GMM) modelling the robot's reachable space. Experimental results demonstrate robust catching capabilities across various scenarios, with the GMM method achieving the best performance, leading to an 80% catching success rate. A video demonstration of the system in action can be found at https://youtu.be/sm7RdxRfIYg .

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01