アーカイブ / Generative AI
会話中の指差しを3D空間に結び付ける：発話・動作データの統合と位置制御の検証
Grounded Gesture Generation
Grounded Gesture Generationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Ground truth bounding boxes of objects in current view, extracted from simulator [ 15 ] .
概要
- 著者らは、合成指差しとVR内の二者会話を共通形式にそろえ、発話・動作・3D場面を結ぶデータを整備した。
- OmniControlの追加学習後、評価した三つのデータ条件すべてでFIDと関節位置のControl L2が低下した。
- 生成実験は主に関節の位置制御を評価しており、参照物の自動特定や指差し方向の正確さは今後の検証事項である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Grounded Gesture Generationの仕組み
- 01発話と3D場面
- 02参照物の位置推定
- 03位置を条件に動作生成
- 04指差しを含む動作
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究が扱うのは、会話中の「これ」「あれ」が指す物体へ手を向ける動作である。発話に合った身振りでも、手の向きが場面内の対象とずれていれば、聞き手には参照先が伝わりにくい。
著者らによると、発話と動作をそろえる研究と、物体のある空間で動作を作る研究は、扱うデータや動作形式が異なる。両者を結ぶには、発話、身体動作、参照物の情報を同じ時間軸で扱えるデータが必要となる。
手法
著者らは、指差しの動作記録とVR（仮想現実）内の二者会話MM-Convを使用した。計測した関節位置を人体モデルSMPL-Xに変換し、さらにHumanML3Dという動作の共通形式へそろえる。MM-Convでは、発話中の参照語について物体IDと開始・終了時刻を記録し、参照を含む発話に対応する動作を切り出す。
合成データでは、視点画像と物体ラベルを使って参照表現を作り、音声化した後、発話と指差し動作の時刻を合わせる。生成構成では場面から参照物の位置を推定し、その位置を手掛かりにOmniControlが身体動作を作る。ただし掲載された生成実験では、参照物の自動特定を経ず、既存動作から得た関節位置などを制御目標として与えている。
新規性
著者らの貢献は、孤立した指差しの合成データと、VRで収録した二者会話MM-Convを共通の動作形式に変換し、発話・身体動作・場面内の参照先を扱えるようにした点にある。
さらに、場面から参照物の位置を求め、その位置を動作生成に渡すモジュール構成を提案した。ただし、掲載された生成実験が検証したのは、与えられた関節位置への制御である。
従来手法との違い
比較対象は、一般的な人体動作データHumanML3Dで学習済みのOmniControlである。著者らは同じモデルを、合成指差しのみ、参照を含む会話動作も加えたもの、参照を含まない動作まで加えたもの、という三つのデータ条件で追加学習した。
従来研究について著者らは、発話に合わせる身振り生成と、場面を考慮した文章からの動作生成が別々に進んできたと整理する。本研究の比較実験から言える範囲は、各評価条件における追加学習前後の動作品質と関節位置誤差の差である。
実験結果
著者らは、元のOmniControlと三つのデータ条件で追加学習したモデルを、それぞれ腰・左手首・右手首の位置制御で比較した。FIDは生成動作と実動作の分布の差、Control L2は指定位置と生成した関節位置の平均距離で、いずれも低いほどよい。
合成指差しのみを評価する条件では、右手首のFIDが4.60から0.65、Control L2が0.116から0.058になった。参照会話と合成指差しを合わせた条件では、腰のFIDが5.75から1.03になった。著者らは全データ条件・全対象関節で両指標が低下したと報告するが、これらは指差し方向や物体特定の正確さを示す数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：仮想室内の案内役が「その椅子をご覧ください」と発話し、対象へ腕を向ける場面を考える。入力は発話文・音声、案内役の視点画像、椅子の物体IDと3D位置で、出力は発話中の指差しを含む身体動作とする。
学習には、発話音声と身体動作の対応記録、参照語の時刻、指された物体のID・位置ラベルが要る。動作は元研究に倣ってVRで計測し、画像と物体情報は仮想空間から得る。対象の特定と動作生成を案内場面に合わせて調整し、指す時刻と伝わりやすさを別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：仮想室内の少数の物体について、発話音声、VRで計測した身体動作、場面画像、物体ID・3D位置、参照語の時刻を収集する。指差しを含む記録を共通の動作形式へ変換し、対象場面の発話と位置情報に合わせてモデルを追加学習する。
比較基準は追加学習前のOmniControlとし、同じ評価用動作でFIDとControl L2を測る。別に、参照物IDの一致、肘から手首への向きと対象方向のずれ、発話と指差しの時刻差を記録する。方向の評価は元研究の位置指標とは分けて扱い、対象を取り違えた事例も確認する。
限界と課題
著者らは、現段階の評価が主に孤立した指差し動作を対象とすると述べる。また、実験では肘や手首の位置を目標にしており、対象を指す方向そのものを測っていない。方向を扱うには、肘から手首への向きと対象への向きを合わせる損失への変更が必要だと論じる。
編集上の検証事項は、場面から正しい物体を選べるか、長い会話で適切な時刻に指せるか、聞き手が対象を識別できるかである。確認できた本文の範囲では、提案された物体特定から動作生成までの一連の処理について、これらを測る結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Grounded Gesture Generation: Language, Motion, and Space
Human motion generation has advanced rapidly in recent years, yet the critical problem of creating spatially grounded, context-aware gestures has been largely overlooked. Existing models typically specialize either in descriptive motion generation, such as locomotion and object interaction, or in isolated co-speech gesture synthesis aligned with utterance semantics. However, both lines of work often treat motion and environmental grounding separately, limiting advances toward embodied, communicative agents. To address this gap, our work introduces a multimodal dataset and framework for grounded gesture generation, combining two key resources: (1) a synthetic dataset of spatially grounded referential gestures, and (2) MM-Conv, a VR-based dataset capturing two-party dialogues. Together, they provide over 7.7 hours of synchronized motion, speech, and 3D scene information, standardized in the HumanML3D format. Our framework further connects to a physics-based simulator, enabling synthetic data generation and situated evaluation. By bridging gesture modeling and spatial grounding, our contribution establishes a foundation for advancing research in situated gesture generation and grounded multimodal interaction. Project page: https://groundedgestures.github.io/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01