アーカイブ / LLM / Generative AI
相手の動きを読み取り、反応動作を生成するThink-Then-React
Think-Then-React
Think-Then-Reactの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Given a human action as input, our Think-Then-React model first thinks by generating an action description and reasons out a reaction prompt. It then reacts to the action based on the results of this thinking process. TTR reacts in a real-time manner at every timestep and periodically re-thinks at specific interval (every two timesteps in the illustration) to mitigate accumulated errors.
概要
- TTRは観測した行動から意図と反応の文章を推定し、それを使って相手の反応動作を生成する。
- 身体を基準にした姿勢と、場の中での初期位置・向きを別々に記号化する。
- 著者らのInter-X評価では、FIDがReGenNetの3.988±0.048に対し、TTRは1.942±0.017だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Think-Then-Reactの仕組み
- 01観測した行動
- 02姿勢・空間の記号化
- 03意図と反応文の推定
- 04反応記号の予測
- 05反応動作列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Think-Then-Reactは、人の動作を観測し、相手がどう動くかを生成する手法である。この課題では、相手の未来の動作や「握手する」といった説明文を入力時に得られない。手を差し出す途中だけでは、握手かハイタッチかも曖昧になる。
二人のやり取りには、各人の身体の姿勢に加え、互いの位置と向きも関わる。観測した動作から直接反応を予測すると、初期の解釈の誤りが後の動作に影響し得る。
手法
TTRは、三次元骨格から得た関節の位置・速度・回転と、人物の初期位置・向きを入力として扱う。身体を基準にした姿勢は、学習済みの代表パターンを選んで記号に変える。場の中での位置と向きは、値を区間に分けて別の記号にする。記号化とは、連続した数値を言語モデルが処理できる単位へ置き換えることである。
言語モデルは、例えば手を振る行動を説明し、相手が振り返すという反応文を推定する。その文章と観測した行動を使って反応の記号列を予測し、動作列に戻す。学習時には動作と文章、姿勢と空間情報、二人の動作の関係を学んだ後、意図推定と反応生成を調整する。推論時は逐次反応し、一定間隔で説明文を推定し直す。
新規性
著者らが提案するのは、観測した行動の説明と想定される反応の文章をモデル内で作り、その文章を手掛かりに反応動作を生成する構成である。入力時に反応を指示する文章を必要としない。
加えて、身体を基準にした姿勢と、場の中での位置・向きを別々に記号化する。これにより、行動する人と反応する人の動作を共通の形式で扱う。
従来手法との違い
ReGenNetは、観測した行動から反応動作を直接予測する。TTRは途中で行動の意味と想定される反応を文章にし、その結果も使って動作を予測する。著者らのInter-X評価では、思考段階を外したTTRの構成とも比較している。
比較にはInterFormer、MotionGPT、InterGenも含まれる。MotionGPTの動作の記号化は複数人向けに拡張され、InterGenは行動から反応を生成する課題向けに再現・適応されている。結果はこれらの評価条件に限って読む必要がある。
実験結果
著者らは、行動と反応の組を含むInter-Xの約9千件を学習、1,708件をテストに使った。事前学習には単独人物の動作と文章を含むHumanML3Dも加え、両データのフレームを毎秒30枚にそろえた。指標は異なる乱数設定で20回計算し、95％信頼区間を示している。
FIDは生成動作と正解動作の特徴分布の近さを測り、低いほどよい。著者らのInter-X評価では、ReGenNetのFIDが3.988±0.048、TTRが1.942±0.017だった。文章と動作の対応を順位で測るR-PrecisionのTop-1は、それぞれ0.384±0.005、0.423±0.005と報告されている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：案内用アバターが、来訪者の手振りに応じて手を振り返す動作案を作る。入力は来訪者の三次元骨格の時系列と、双方の初期位置・向き。出力はアバターの反応動作列とする。
適用には、行動と反応を組にした学習データ、それぞれのやり取りを説明する文章、動作を記録するセンサーまたは既存の骨格記録が要る。骨格形式と座標系を合わせ、生成した動作をアバターの形式に変換して確認する。実環境で適切に反応できるかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象環境で、二人の三次元骨格列、初期位置・向き、対応する反応列、やり取りの説明文を収集する。新たに記録する場合は骨格取得用のセンサーが要る。握手やハイタッチなど、評価対象のやり取りには種類のラベルを付ける。
同じ入力を使い、意図と反応の文章を推定する段階を外した構成を基準にする。曖昧な開始部分を含む記録で、反応の種類の正解率、人物間の位置のずれ、途中での不自然な切り替わりを測る。対象環境の骨格形式と座標系への変換も確認する。
限界と課題
著者らは、動作の初期部分だけでは握手とハイタッチを見分けにくく、早い段階の説明文が不正確になり得ると述べる。この問題に対し、生成中に一定間隔で説明文を推定し直す設計を採る。
編集上の検証事項は、説明文が変わった際に反応が不自然に切り替わらないか、相手との位置関係を保てるかである。確認できた本文の範囲では、実機での動作や利用者による評価は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Think-Then-React: Towards Unconstrained Human Action-to-Reaction Generation
Modeling human-like action-to-reaction generation has significant real-world applications, like human-robot interaction and games. Despite recent advancements in single-person motion generation, it is still challenging to well handle action-to-reaction generation, due to the difficulty of directly predicting reaction from action sequence without prompts, and the absence of a unified representation that effectively encodes multi-person motion. To address these challenges, we introduce Think-Then-React (TTR), a large language-model-based framework designed to generate human-like reactions. First, with our fine-grained multimodal training strategy, TTR is capable to unify two processes during inference: a thinking process that explicitly infers action intentions and reasons corresponding reaction description, which serve as semantic prompts, and a reacting process that predicts reactions based on input action and the inferred semantic prompts. Second, to effectively represent multi-person motion in language models, we propose a unified motion tokenizer by decoupling egocentric pose and absolute space features, which effectively represents action and reaction motion with same encoding. Extensive experiments demonstrate that TTR outperforms existing baselines, achieving significant improvements in evaluation metrics, such as reducing FID from 3.988 to 1.942.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01