アーカイブ / Generative AI / Robotics
文章と関節の目標位置から人型キャラクターを動かすCLoSD：計画と物理実行をつなぐ
CLoSD
CLoSDの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: CLoSD is a multi-task physics-based RL controller, capable of performing object interaction tasks and can be controlled through a text prompt and target positions. The engine of CLoSD is the Diffusion Planner (DiP), a real-time diffusion model that operates in a closed feedback loop with the RL, producing high-fidelity human motions for completing a diverse set of tasks.
概要
- CLoSDは文章と関節の目標位置から短い動作を計画し、物理シミュレーションで実行した姿勢を次の計画に戻す。
- 著者らが報告した着座と起立の成功率は0.88と0.98で、同じ表の開ループ構成は0.19と0.23だった。
- 実用検討には文章と動作の対応データ、関節と接地の情報、物体の配置、課題完了の判定を対象場面に合わせた検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CLoSDの仕組み
- 01文章・関節目標
- 02DiPで動作計画
- 03PHCで姿勢追従
- 04物理計算
- 05実行動作を再入力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CLoSDは、文章と関節の目標位置に従って、人型キャラクターを物理シミュレーション内で動かす方法である。動作拡散モデルは、乱れを加えた動作を段階的に整えて新しい動作を作る。強化学習による制御器は、シミュレーションで行動の結果を受け取りながら動き方を学ぶ。
文章から作った動作には足の滑りや浮きが生じ得る。物体への打撃や着座では接触も重要になるため、計画した動きを実行し、その結果に応じて次を決める仕組みが求められる。
手法
入力は動き方を記した文章と、指定した関節の目標位置である。例えば「高い蹴りで標的を打つ」と右足の到達位置を渡す。DiPは直前の動作と入力条件を使い、次の短い動作列を生成する。実行済みの動作を手掛かりに続きを作る方式を自己回帰と呼ぶ。
PHCを基にした追従制御器は、計画された姿勢を一つずつ物理シミュレーションで実行する。実際の姿勢を次のDiPへの入力に戻す往復が閉ループであり、環境内で生じた動きが次の計画に反映される。文章と目標位置は途中で変更でき、著者らは課題完了の合図で次の課題へ移る仕組みも示している。
新規性
著者らの主張する進歩は、文章から動作を作る拡散モデルを、その場で次の動きを決める計画器として使い、物理シミュレーションの追従制御器と閉ループで結んだ点にある。
実行した姿勢を次の計画に戻し、文章と関節の目標位置を途中で変更できる。物体との接触や計画器との連携を想定していなかった追従制御器も、この閉ループ内で複数課題を用いて追加学習する。
従来手法との違い
従来の動作拡散モデルについて、著者らは一連の動作を事前に生成するため、環境で実際に起きたことへ即座に対応しにくいと説明する。基にしたPHCの追従制御器は動作を実行できるが、物体との相互作用を考慮して学習されていなかった。
CLoSDはDiPが短い動作を繰り返し計画し、PHCを基にした制御器の実行結果を次の入力に使う。課題成功率表には複数課題の比較対象UniHSIと、実行結果を戻さないCLoSDの開ループ構成も載る。
実験結果
著者らはシミュレーション上の目標地点への到達、物体への打撃、着座、起立の成功率を報告した。CLoSDは順に1.0、0.90、0.88、0.98、UniHSIは0.96、0.02、0.85、0.08である。同じ表のCLoSD開ループ構成は1.0、0.80、0.19、0.23だった。
DiPの設定表では、過去20フレームから40フレームを生成し、拡散処理を10回行う条件で、実行時間11.4ミリ秒、生成速度は毎秒約3500フレームと報告する。著者らはHumanML3Dで文章と動作の対応も評価対象としているが、確認できた本文の範囲では課題ごとの試行数や成功判定の全条件を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：対話型のキャラクター制作で、担当者が「右足で標的を蹴る」という文章と右足の到達位置を指定する。シミュレーション上の動きを確認した後、文章を「ソファに座る」に、目標を腰の位置に切り替え、連続する動作を制作素材として確認する。
必要なのは文章と人の動作の対応データ、動作から得る関節位置と足の接地情報、標的とソファの位置を設定したシミュレーションである。指示語と対象物の配置に合わせて計画器と追従制御器を調整する必要があり、制作工程での有用性は検証を要する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：文章と動作の対応データを用意し、関節位置と足の接地情報を動作から得る。標的とソファの位置、課題完了の判定をシミュレーションに設定する。実物のセンサーを前提とせず、シミュレーションが返す人型キャラクターの姿勢を次の計画へ渡す。
対象の指示語と関節目標に合わせて計画器と追従制御器を調整し、同じ初期状態と指示で閉ループ構成と開ループ構成を比較する。到達、打撃、着座、起立の成功率に加え、接触位置の誤差、転倒、指示変更後の動きを記録し、自社の場面に設定した判定条件で評価する。
限界と課題
著者らは、生成した動作に浮きや滑り、物体へのめり込みなどが生じ得ると説明する。また、基にしたPHCの追従制御器は、物体との接触や実時間の計画器との連携を考慮して学習されていない。この差に対応するため、CLoSDでは制御器を追加学習する。
編集上の検証事項は、対象場面での接触位置のずれ、転倒、指示変更時の動き、課題完了の判定である。確認できた本文の範囲では実物のロボットでの成績は示されず、報告されたシミュレーション上の成功率を実環境へ適用できるかは判断できない。
出典
元のタイトル・要旨を確認する（英語）
CLoSD: Closing the Loop between Simulation and Diffusion for multi-task character control
Motion diffusion models and Reinforcement Learning (RL) based control for physics-based simulations have complementary strengths for human motion generation. The former is capable of generating a wide variety of motions, adhering to intuitive control such as text, while the latter offers physically plausible motion and direct interaction with the environment. In this work, we present a method that combines their respective strengths. CLoSD is a text-driven RL physics-based controller, guided by diffusion generation for various tasks. Our key insight is that motion diffusion can serve as an on-the-fly universal planner for a robust RL controller. To this end, CLoSD maintains a closed-loop interaction between two modules -- a Diffusion Planner (DiP), and a tracking controller. DiP is a fast-responding autoregressive diffusion model, controlled by textual prompts and target locations, and the controller is a simple and robust motion imitator that continuously receives motion plans from DiP and provides feedback from the environment. CLoSD is capable of seamlessly performing a sequence of different tasks, including navigation to a goal location, striking an object with a hand or foot as specified in a text prompt, sitting down, and getting up. https://guytevet.github.io/CLoSD-page/
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01