アーカイブ / Robotics / VLM / LLM
避けたい物を声で指定する双腕ロボットの遠隔操作
Language-Guided Collision Avoidance
Language-Guided Collision Avoidanceの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: The operator teleoperates both arms of the robot using VR controllers while instructing the system via speech to avoid the “ yellow sauce ” and the “ red box ”. This enables intent-aware collision avoidance.
概要
- 発話で指定した物体をRGB-D画像から三次元の障害物にし、双腕ロボットの遠隔操作中の回避制御に使う。
- 静的で狭い環境の予備実験では実操作中の衝突はなく、記録した指令を回避なしで再生すると5試行中4試行で衝突したと著者らは報告する。
- 著者らは、単一カメラの遮蔽、対象ごとの発話指定、録音ボタン操作を制約に挙げている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Language-Guided Collision Avoidanceの仕組み
- 01発話・画像・手元操作
- 02指示解析と物体検出
- 03三次元障害物生成
- 04速度制約で回避
- 05関節速度指令
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
物が密集する場所で双腕ロボットを遠隔操作すると、操作者は画面を見ながら、腕と物体の距離を判断する。距離を見誤れば、ロボットや周囲の物に接触するおそれがある。
作業中には、避けるべき物も変わる。先ほどまで障害物だった容器が、次にはつかむ対象になる場合もある。操作者の判断をその場で制御に伝え、指定した物への接近を抑える仕組みが求められる。
手法
操作者は頭部装着型の表示器ではなく画面を見て、両手のHTC Viveコントローラーで双腕を操作する。ボタンを押している間の発話を音声認識で文字にし、大規模言語モデルが回避対象の追加・解除を読み取る。言葉と画像を対応させるモデルが色画像内の対象を囲み、画像分割モデルが輪郭を切り出す。
RGB-Dカメラは色と奥行きを取得する。輪郭に対応する三次元の点群から表面の網目形状を作り、凸包という物体を包む単純な形に整え、安全余裕を加える。全身制御器は両腕の操作指令と関節の制限を扱い、指定物に近づく部位の速度を抑える条件を解いて、関節ごとの速度指令を出す。
新規性
操作者が発話で指定した物体を画像内で特定し、三次元の障害物として制御器へ渡す構成が提案の中心である。避ける対象の追加と解除を操作中に指示できる。
対象の名前を認識するだけで終わらず、ロボットが接近した際の速度制約につなげる。著者らは、作業の途中で変わる「今はこの物を避けたい」という意図を、双腕の遠隔操作に反映している。
従来手法との違い
本文が挙げる従来の方法は、障害物を手作業で登録した環境モデルを保つ方法と、三次元センサーが捉えた物を一律に危険とみなす方法である。提案法では、操作者が回避対象を発話で選び、必要に応じて解除する。
実験での比較条件は別の遠隔操作方式ではない。回避機能を使った実操作中の手元指令を記録し、機能を無効にして再生した条件である。操作者が回避機能なしで操作し直した結果とは区別する必要がある。
実験結果
著者らは、訓練を受けた成人5人が、狭く物の多い静的な環境で物をつかんで移す予備実験を報告した。参加者はスペイン語、英語、フランス語、イタリア語、アラビア語のいずれかで回避対象を指定した。著者らによれば、指定対象はすべて識別され、回避機能を使った実操作では衝突が記録されなかった。
実操作中の手元指令を回避機能なしで再生すると、5試行中4試行で衝突した。これは記録した指令の再生条件との比較である。要旨は作業効率を損なわないと述べるが、確認できた本文の範囲では、所要時間などの数値とその評価条件は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：狭い作業台で、操作者が双腕ロボットを使って部品容器を移す場面を想定する。手元の操作指令、マイクへの「黄色い治具を避けて」という発話、作業台のRGB-D画像とロボットの状態を入力し、治具の障害物形状と回避を反映した関節速度指令を出す。
現場では治具の呼び名と見え方を確認し、カメラとロボットの座標を合わせる。使用モデルの元の学習データや教師ラベル、現場向け追加学習の要否は本文から確認できないため、導入時に調べる。効果は作業台ごとに検証する仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：静止した治具を置く一つの移載作業から始める。マイク音声、作業台のRGB-D画像、両手の操作指令、ロボットの状態を用意し、カメラとロボットの座標を合わせる。現場の治具名で回避の追加・解除を試し、使用モデルの学習データ、教師ラベル、追加学習の要否を確認する。
評価用には、避ける対象の正解ラベルと衝突の記録を人手で用意する。回避ありの指令を保存し、回避なしで再生する条件を比較基準として、対象識別の正誤、衝突した試行数、作業完了までの時間を同じ配置で測る。遮蔽や配置変更は別条件として記録する。
限界と課題
著者らは、頭部の単一RGB-Dカメラでは腕や物体に視界を遮られ、特に動く環境では点群が不完全になり得ると述べる。避ける物を一つずつ発話で指定する必要と、録音開始のボタン操作も制約に挙げる。実験は上半身の操作に限られ、台車移動を伴う作業は今後の課題である。
編集上の検証事項は、遮蔽された物体、外観が似た物体、発話の誤認識が回避制御に及ぼす影響である。静的で狭い場面での衝突結果を、配置が変わる作業台や移動物体のある現場にそのまま当てはめられるかも確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Safe Bimanual Teleoperation with Language-Guided Collision Avoidance
Teleoperating precise bimanual manipulations in cluttered environments is challenging for operators, who often struggle with limited spatial perception and difficulty estimating distances between target objects, the robot's body, obstacles, and the surrounding environment. To address these challenges, local robot perception and control should assist the operator during teleoperation. In this work, we introduce a safe teleoperation system that enhances operator control by preventing collisions in cluttered environments through the combination of immersive VR control and voice-activated collision avoidance. Using HTC Vive controllers, operators directly control a bimanual mobile manipulator, while spoken commands such as "avoid the yellow tool" trigger visual grounding and segmentation to build 3D obstacle meshes. These meshes are integrated into a whole-body controller to actively prevent collisions during teleoperation. Experiments in static, cluttered scenes demonstrate that our system significantly improves operational safety without compromising task efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01