アーカイブ / Generative AI / Computer Vision
文章と関節・筋肉・接触力の条件から人の動作を生成するFlexMotion
FlexMotion
FlexMotionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The proposed FlexMotion can generate physically-plausible human motion sequences using text prompt and spatial control over diverse motion kinematic properties, including (a) contact forces, (b) joint locations, (c) muscle activation, and (d) joint actuation.
概要
- 文章と指定条件から、関節運動に加えて接触力、関節トルク、筋活動を含む動作系列を生成する。
- 著者らのHumanML3Dテスト集合の表では、追加の空間条件を与えないFlexMotionのR-Precisionは0.757、FIDは0.298だった。
- 利用には対象動作の文章と時刻をそろえた身体データが必要で、力や筋活動の妥当性は用途ごとに検証する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FlexMotionの仕組み
- 01文章と身体条件
- 02条件を圧縮
- 03拡散生成と制御
- 04関節・力の時系列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FlexMotionは、文章と身体の条件に合わせて人の動作系列を生成する手法だ。人の動きには関節の位置だけでなく、床などから受ける力や筋肉の働きも関わる。見た目が自然な軌跡でも、力の関係まで妥当とは限らない。
アニメーションや人とロボットの相互作用を検討するには、狙った動きへの制御と身体の力学的な整合性が要る。著者らは、こうした制御と生成にかかる計算量を両立させる課題に取り組んだ。
手法
学習時は、関節位置・回転・速度・加速度、筋活動、関節トルク、接触力の時系列を、Transformer型のオートエンコーダーで短い潜在表現に圧縮し、復元する。潜在表現とは動作の特徴を少ない数値で表したものだ。復元誤差に加え、運動と力の関係を表す式からのずれや過大な筋活動を抑える。
次に、文章に対応する潜在表現を、ノイズを段階的に取り除く拡散モデルで生成する。例えば「曲がりながら歩く」という文章と関節位置の指定を与える場合、追加の制御部が指定値を圧縮して生成過程へ反映し、復元器が動作系列へ戻す。同じ仕組みで筋活動や接触力なども指定できる。
新規性
著者らの提案は、関節位置に加えて、接触力、関節トルク、筋活動まで含む動作表現を学習し、それらを生成時の指定条件にも使えるようにした点にある。関節トルクは関節を回す力を指す。
物理法則とのずれを学習時に抑え、生成後の物理シミュレーターによる補正を要しない構成を採る。これは生成されたすべての動作の物理的な正しさを保証するという意味ではない。
従来手法との違い
本文によると、OmniControlとGMDが扱う制御は主に関節の軌跡である。軌跡とは、関節が時間とともに通る位置の列を指す。FlexMotionは指定できる対象を筋活動、関節トルク、接触力にも広げる。
HumanML3Dの表にはMDMなどとの生成結果の比較もある。ただし、各手法の条件入力や目的は同一とは限らないため、この表だけで制御用途全般の優劣や計算速度の差は判断できない。
実験結果
著者らはHumanML3D、KIT-ML、Flag3Dを評価対象とし、OpenSimを用いて筋活動や接触力などの情報を動作データに加えた。HumanML3Dのテスト集合の表では、文章を使い追加の空間条件を与えない「No Condition」のFlexMotionについて、R-Precisionが0.757、FIDが0.298と報告する。
同表のMDMはそれぞれ0.602、0.698で、足の滑りを表すSkateはFlexMotionが0.612、MDMが1.406だった。著者らは結果を独立した10回の実行の平均と記す。確認できた本文の範囲では表の後半が途切れており、他の制御条件の結果を通して比較できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：人とロボットが同じ作業空間を使う場面で、人の動作候補を事前に可視化する。作業を説明する文章と手の通過位置、足の接触条件を入力し、関節位置と接触力を含む時系列を出力して、想定する作業経路と照らし合わせる。
対象作業について、文章と時刻をそろえた関節・接触力のデータが必要になる。筋活動も指定するなら対応する値を追加し、身体モデル、関節定義、座標系を現場のデータに合わせて調整する。必要な実測センサーは確認できた本文の範囲では定まらない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象作業を一種類に絞り、文章と時刻をそろえた関節時系列を用意する。接触力、関節トルク、筋活動を扱うなら各時刻の対応値も必要だ。取得に使うセンサー、欠測の扱い、OpenSimで値を補う場合の手順を記録し、対象の身体モデルへ適合させる。
文章だけを与える生成を基準に、同じ文章へ関節軌跡を加えた場合を比べる。指定位置からの軌跡誤差、足の滑り、利用可能な正解値に対する接触力の誤差を測る。出力は現場の関節定義と座標系に変換し、人が動作と接触を点検する。
限界と課題
著者らによる明示的な限界の記述は、確認できた本文の範囲では見当たらない。提示された表は途中で途切れており、全制御条件の成績や付録にある実験手順をここから確認することはできない。
編集上の検証事項は、出力された接触力や筋活動が対象作業の実測値とどの程度一致するか、未学習の動作や別の身体モデルでも成り立つかである。物理式に沿うよう学習していても、安全な接触や身体負荷の妥当性は個別に確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
FlexMotion: Lightweight, Physics-Aware, and Controllable Human Motion Generation
Lightweight, controllable, and physically plausible human motion synthesis is crucial for animation, virtual reality, robotics, and human-computer interaction applications. Existing methods often compromise between computational efficiency, physical realism, or spatial controllability. We propose FlexMotion, a novel framework that leverages a computationally lightweight diffusion model operating in the latent space, eliminating the need for physics simulators and enabling fast and efficient training. FlexMotion employs a multimodal pre-trained Transformer encoder-decoder, integrating joint locations, contact forces, joint actuations and muscle activations to ensure the physical plausibility of the generated motions. FlexMotion also introduces a plug-and-play module, which adds spatial controllability over a range of motion parameters (e.g., joint locations, joint actuations, contact forces, and muscle activations). Our framework achieves realistic motion generation with improved efficiency and control, setting a new benchmark for human motion synthesis. We evaluate FlexMotion on extended datasets and demonstrate its superior performance in terms of realism, physical plausibility, and controllability.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01