アーカイブ / Robotics / Audio / LLM
音声と指差しを合わせてロボットの操作指示に変える
TransforMerger
TransforMergerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : Human-Robot Interaction Pipeline. A user communicates tasks through hand gestures ( 𝒮 G \mathcal{S}_{G} ), captured via a hand sensor, and voice commands ( 𝒮 V \mathcal{S}_{V} ), recorded by a microphone. A camera monitors the scene to get scene objects ( 𝒪 \mathcal{O} ). Our solution utilizes a transformer-based SOTA Large Language model (1-3B param., running offline) to reason about the user’s intent and generate clear action commands for the robot to execute.
概要
- 音声と身ぶりの認識候補を確率付きで統合し、場面の物体情報を参照して操作指示を作る。
- 著者らは、雑音や時間ずれを含む卓上操作の評価で、決め打ちの基準法より良い結果を報告した。
- 実務検証では、指示の解釈が正しいかと、ロボットの動作が成功したかを分けて測る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TransforMergerの仕組み
- 01音声・身ぶり・場面
- 02確率付き候補を時刻順に統合
- 03場面に照らして解釈
- 04操作指示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TransforMergerは、人の声と身ぶりを組み合わせ、ロボットが実行できる形の操作指示を推定する。「赤い物を取って」のような発話だけでは対象が複数あり得る一方、指差しだけでは行動の種類や置き場所が分からないことがある。
音声認識や身ぶり認識にも誤りがあり、二つの入力が同時に起きるとは限らない。片方の結果を早い段階で確定すると、後から届く手掛かりを使いにくい。人とロボットが共同で作業する場面では、候補と場面の情報を合わせて解釈する必要がある。
手法
音声と身ぶりをそれぞれ認識し、語や対象の候補、確率、時刻を持つ形式へ変える。例えば音声の「cup」が有力でも「cap」が残る場合、その両方を保持する。二つの系列を時刻順に並べ、候補の確率を反映した数値表現に変換して言語モデルへ渡す。数値表現は、モデルが語の意味を扱うための内部表現である。
モデルには、可能な行動、場面の物体と属性、出力形式も示す。「この赤い物」と指差しが重なれば、場面にある赤い物体を参照して対象を選ぶ。出力は行動、第一対象、第二対象、速さなどを分けたSkill Commandと呼ぶ指示で、定義済みのロボット動作へ対応付ける。
新規性
TransforMergerは、音声と身ぶりの認識結果を候補ごとの確率付きで表し、時刻順に統合してから言語モデルに渡す。各候補を最初から一つに決めず、曖昧さを後段へ伝える点が特徴である。
場面にある物体の名前と属性も入力し、「この赤い物」のような表現を実物に結び付ける。最終出力は行動、対象物、位置関係などを持つ定型の操作指示であり、曖昧な発話をそのままロボットへ渡さない。
従来手法との違い
論文の基準法は、各語について最も確率の高い候補だけを採用し、文章中に先に現れた要素から操作指示を組み立てる。TransforMergerは候補を確率付きで保持し、場面情報とともに言語モデルで解釈するため、発話と指差しが少しずれた場合も扱える。
著者らはシミュレーションと実環境のデータで、決め打ちの基準法と比較した。特に場面の文脈が必要な条件で良い結果だったと報告するが、すべての操作や環境で優れると示したものではない。
実験結果
著者らは、卓上操作について人工的に作ったデータと実環境のデータを用いた。雑音、音声と身ぶりの時間ずれ、情報の欠落、場面の解釈が必要な指示を試し、最有力候補だけを選ぶ基準法と比較した。言語モデル側には三つの指示追従型モデルを選んでいる。
確認できた本文の範囲では、著者らは特に文脈の知識を要する条件で基準法を上回り、雑音やずれにも頑健だったと報告する。評価節の結果表までは含まれていないため、成功率や改善幅の数値は示せない。実環境では卓上の物体と定義済みの12種類の行動を扱った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：卓上での物品移動を支援する場面で、作業者の「これを箱へ」という発話と指差しから操作候補を作る。入力は音声認識候補、身ぶり候補、卓上の物体一覧と属性、出力は「どの物を、どこへ、どう動かすか」を分けた指示とする。
対象が二つに絞れない場合は候補を確認画面に出し、作業者が選んでから実行する。候補の確率と場面情報を残せば、誤った対象選択の原因を点検しやすい。この確認手順は論文で示された性能値ではなく、実務利用に向けた編集上の応用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず実機を動かさず、対象物が二つ以上ある卓上場面で、発話、指差し、正しい操作指示を記録する。最有力の認識候補だけで組み立てる基準法と、確率付き候補を統合する方法を同じ入力で比較する。
行動、対象物、置き場所を別々に採点し、時間ずれや音声の聞き違いごとに誤りを数える。曖昧な出力を確認へ回した割合と、確認後の正しい指示の割合も測る。実機評価へ進む際は、指示の正しさと物体操作の成否を区別して記録する。
限界と課題
著者らの実環境の設定では、身ぶりを行動や物体へ対応付ける規則を定め、利用者もその対応を学ぶ。場面の物体情報は固定された表現として与えるため、物体認識自体の不確かさを十分に扱う設定ではない。論文も、音声と身ぶりの時間ずれをすべて個別に解析したわけではないと述べる。
編集上の確認課題は、未登録の物体、複数人の同時発話、指差しが届かない配置での誤指示である。操作指示の生成と実際の動作成功は分けて測り、曖昧なときに確認へ回す条件を決める必要がある。
出典
元のタイトル・要旨を確認する（英語）
TransforMerger: Transformer-based Voice-Gesture Fusion for Robust Human-Robot Communication
As human-robot collaboration advances, natural and flexible communication methods are essential for effective robot control. Traditional methods relying on a single modality or rigid rules struggle with noisy or misaligned data as well as with object descriptions that do not perfectly fit the predefined object names (e.g. 'Pick that red object'). We introduce TransforMerger, a transformer-based reasoning model that infers a structured action command for robotic manipulation based on fused voice and gesture inputs. Our approach merges multimodal data into a single unified sentence, which is then processed by the language model. We employ probabilistic embeddings to handle uncertainty and we integrate contextual scene understanding to resolve ambiguous references (e.g., gestures pointing to multiple objects or vague verbal cues like "this"). We evaluate TransforMerger in simulated and real-world experiments, demonstrating its robustness to noise, misalignment, and missing information. Our results show that TransforMerger outperforms deterministic baselines, especially in scenarios requiring more contextual knowledge, enabling more robust and flexible human-robot communication. Code and datasets are available at: http://imitrob.ciirc.cvut.cz/publications/transformerger.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30