アーカイブ / Generative AI / Computer Vision
文章中の語と動作の時点を結び付ける生成手法CASIM
CASIM
CASIMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : ( Top ) Fixed-length semantic injection, which primarily relied on the [CLS] token embedding from CLIP ( Radford et al., 2021 ) to represent the entire text prompt, fails to capture the subtle differences in individual words. As a result, it generates highly similar motions from distinct text prompts. ( Bottom ) Our Composite aware semantic injection method allows each motion frame to dynamically attend to every word token (e.g., “left” or “right” hand), enhancing the motion-text correspondence.
概要
- CASIMは文章を語ごとに表現し、動作の各時点との対応を学習して人の動作を生成する。
- 著者らは、順次生成方式と雑音から段階的に生成する方式を含む五つの既存モデルに組み込んで評価した。
- HumanML3Dの表3では、MDMのTop1 R-Precisionが0.471から0.502へ、FIDが0.325から0.165へ変化した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CASIMの仕組み
- 01動作を記した文章
- 02語ごとの数値表現
- 03動作時点との対応
- 04人の動作系列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CASIMは文章から人の動作を生成する手法である。「右へ走り、次に左へ戻る」のような指示では、方向だけでなく動作の順序も表す必要がある。著者らは、文章全体を一つの固定長の数値表現にまとめる従来の方法では、個々の語と動作の対応が弱まりやすいと指摘する。
文章を少し変えても似た動きが生成されるなら、言葉で細部を指定しにくい。制作に使う際は、どの語が動作のどの時点に反映されたかが判断材料になる。
手法
CASIMは、事前学習済みのCLIP文章エンコーダーから語ごとの数値表現を取り出し、動作生成モデルへ渡す。例えば「右へ走ってから左へ戻る」という文章なら、「右」「左」などの情報を文章全体の一つの表現へまとめずに保持する。入力は動作を記した文章、出力は時間順に並ぶ人の動作である。
動作の各時点は、文章中の語を異なる重みで参照する。これは「注意機構」と呼ばれ、参照先の情報を重みに応じて取り込む計算を指す。動作を一部分ずつ順に作るモデルでは、文章と生成済みの動作から次を予測する。雑音から段階的に動作を整えるモデルでは、その過程で語と動作を対応付ける。
新規性
CASIMは文章全体を一つの固定長表現にまとめず、語ごとの表現を動作生成モデルへ渡す。動作の各時点が参照する語の重みを変え、文章と動作の対応を学習する仕組みを提案した。
著者らは、動作を順に生成する方式と、雑音から段階的に生成する方式へ組み込んだ。複数の既存モデルと動作表現で評価している。
従来手法との違い
主な比較対象は、CLIPという文章と画像の対応を学習したモデルで、文章全体を固定長の表現にまとめて渡す方法である。著者らは、この方法では「左」「右」のような語の違いや、動作の順序を反映しにくいと指摘する。
CASIMでは語ごとの情報を残し、各動作時点から関連する語を参照する。実験ではMDMやT2MGPTなど五つの既存モデルに組み込み、それぞれの元モデルと比較した。結果は掲載されたモデル構成とデータセットの範囲で読む必要がある。
実験結果
著者らはHumanML3DとKIT-MLで評価した。前者は動作14,616件と文章44,970件、後者は動作3,911件と文章6,278件を含む。学習・検証・テストの分割比は0.8対0.05対0.15で、各指標は20回の反復の平均として報告された。
HumanML3Dの表3では、MDMにCASIMを加えるとTop1 R-Precision（文章と動作の検索一致率）が0.471から0.502へ、FID（生成動作と実動作の分布差）が0.325から0.165へ変化した。T2MGPTでは同じ順に0.484から0.539、0.117から0.105だった。表1の元MDMは別の数値のため、この比較には表3の対応する行を用いる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：安全教育用の動作案として、「右へ歩き、止まって左を確認する」という文章から人の動作系列を生成する。担当者が左右、停止、順序を確認し、教材の試作に使う場面を想定する。現場での安全性が実証された用途ではない。
現場固有の動きを学習させるには、文章と対応する動作系列、左右や順序を確認できる注釈が必要になる。既存データを使う試作なら追加センサーは不要だが、新たに動作を収録するなら姿勢を記録する方法と必要なセンサーを決め、モデルの動作表現に合わせてデータを整える。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず文章と対応する動作系列を用意し、左右、動作順序、停止の有無を確認できる注釈を付ける。既存データだけで試すなら追加センサーは不要である。現場動作を新たに集める場合は姿勢の収録方法と必要なセンサーを決め、文章と動作の組を作る。
同じ学習・評価データで元モデルとCASIMを加えたモデルを比べる。論文の検索一致率とFIDに加え、評価者が左右・順序・停止を満たすと判断した割合を数える。現場固有の語や動作表現に合わせた調整を記録し、学習に使っていない指示文の失敗例も確認する。
限界と課題
著者らが課題として挙げるのは、従来の固定長の文章表現では、複数の動きを含む指示や語ごとの差を捉えにくい点である。CASIM自体の現場利用上の限界については、確認できた本文の範囲では整理された記述が見当たらない。
編集上の検証事項は、長い指示での順序、左右の取り違え、姿勢の安全性、学習時にない作業動作への適合性である。またKIT-MLの表4ではCoMoのFIDが0.399から0.408へ上がっており、全構成で全指標が改善するとは読めない。建設作業の安全手順に従うかを測った評価も示されていない。
出典
元のタイトル・要旨を確認する（英語）
CASIM: Composite Aware Semantic Injection for Text to Motion Generation
Recent advances in generative modeling and tokenization have driven significant progress in text-to-motion generation, leading to enhanced quality and realism in generated motions. However, effectively leveraging textual information for conditional motion generation remains an open challenge. We observe that current approaches, primarily relying on fixed-length text embeddings (e.g., CLIP) for global semantic injection, struggle to capture the composite nature of human motion, resulting in suboptimal motion quality and controllability. To address this limitation, we propose the Composite Aware Semantic Injection Mechanism (CASIM), comprising a composite-aware semantic encoder and a text-motion aligner that learns the dynamic correspondence between text and motion tokens. Notably, CASIM is model and representation-agnostic, readily integrating with both autoregressive and diffusion-based methods. Experiments on HumanML3D and KIT benchmarks demonstrate that CASIM consistently improves motion quality, text-motion alignment, and retrieval scores across state-of-the-art methods. Qualitative analyses further highlight the superiority of our composite-aware approach over fixed-length semantic injection, enabling precise motion control from text prompts and stronger generalization to unseen text inputs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01