アーカイブ / Generative AI / Computer Vision
文から手話の姿勢列を作る、グロス不要の拡散モデル
Text2Sign Diffusion
Text2Sign Diffusionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Illustration of Sign Language Production with a sample of German sign language: (a) a two-step approach as text to gloss to pose with intermediate glosses representation; and (b) an one-step gloss-free approach as text to pose directly.
概要
- グロスを介さず、文を条件に潜在表現の雑音を除去して手話の姿勢列を生成する。
- 文全体と姿勢列の意味をそろえる整合器を事前学習し、生成モデルの学習に使う。
- 著者らの表では、BLEU-4はPHOENIX14Tで11.23、How2Signで5.68だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Text2Sign Diffusionの仕組み
- 01音声言語の文
- 02文を生成条件に変換
- 03潜在姿勢の雑音除去
- 04手話の姿勢列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究が扱う手話生成は、音声言語の文から手話の動きを表す姿勢フレーム列を作る課題である。姿勢フレームとは、手・体・顔などの位置を一時点ごとに記録したものをいう。音声言語と手話は文法や語彙が異なり、文を動きへ直接対応付けるのは難しい。
多くの方式は、手話の語や句を表す記号「グロス」を中間に置く。しかし、グロスの付与には専門知識が必要で、注釈付きデータは限られる。文と姿勢列の対応から、グロスなしで生成する方法が課題となる。
手法
学習では、対応する文と姿勢列を使う。SignVAEは姿勢列を短い数値表現である潜在表現に圧縮し、元の列へ復元するモデルだ。別の整合器は、姿勢の潜在表現と文の表現を共通の空間に写す。対応する組を近づけ、無関係な組を離す対照学習によって、文全体と動きの意味の対応を覚える。
生成時には、例えば「北東では雪が強まる」という文を条件に、雑音から潜在姿勢を段階的に整える。これが拡散モデルの雑音除去であり、整えた潜在表現をSignVAEの復元部分で姿勢列に戻す。学習中は、整合器が測る文と生成途中の姿勢の意味の近さも損失に加え、雑音除去を調整する。
新規性
著者らの提案は、グロスを使わず、文を条件に圧縮された姿勢表現の雑音を反復除去して手話の姿勢列を作る構成である。姿勢を一フレームずつ確定する方式ではなく、潜在表現を繰り返し整える。
さらに、文全体と姿勢列を共通の意味表現にそろえる整合器を事前学習し、その情報を生成モデルの学習に加える。文と動きの対応を、中間の手話記号なしで学ぶ点が主張の中心となる。
従来手法との違い
従来の二段階方式は、入力文を手話の語や句を表す記号「グロス」に変え、その記号列から姿勢を作る。グロスの付与には専門知識が必要で、対応データを集める負担がある。
既存のグロス不要方式には、姿勢を離散的な動作コードに変え、文からコード列を作るものがある。本手法は連続した潜在表現を雑音除去で生成し、文全体との意味の対応を学習に使う。性能差は、論文の各データセットで示された指標に限って読む必要がある。
実験結果
著者らは、ドイツ手話の天気予報を含むPHOENIX14Tと、米国手話のHow2Signで評価した。生成姿勢を手話翻訳モデルで文に戻し、正解文との一致をBLEUとROUGEで測定した。DTWは時間軸を合わせた姿勢の関節位置の平均誤差で、低いほどよい。
PHOENIX14Tの表では、本手法のBLEU-4は11.23、DTWは0.0997で、Data-Driven Representation SLPの9.20、0.1050を上回った。How2SignのBLEU-4は5.68、MS2SL-T2Sは4.26だった。著者らの削除実験では整合器を外すと両データセットで指標が低下した。評価分割の詳細は確認できた本文にない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ドイツ語の天気予報文を入力し、手・体・顔の位置を時系列に並べた手話姿勢列を試作画面に表示する。担当者と手話を読む人が、原稿の意味と表示された動きを一文ずつ確認する用途を想定する。
必要な学習データは、対象の手話による姿勢列と原稿文の対応ペアで、グロスのラベルは使わない。収録用の映像と手・体・顔の位置を取り出す手順を用意し、対象の表現に合わせて学習する。公開前の人による確認を含む応用案であり、伝達品質は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：天気予報の短文と、それに対応する対象手話の姿勢列を集め、学習用と評価用に分ける。必要な教師情報は文と姿勢列の組で、グロスのラベルは不要である。収録には手・体・顔が映るカメラ映像を用いる想定とし、撮影条件と姿勢抽出法を決めて記録する。
対象の手話と原稿に合わせてモデルを学習し、整合器を使わない構成を比較基準にする。同じ評価文で逆翻訳のBLEU-4、正解姿勢とのDTW、手話を読む人による意味と動きの確認を行う。長い文の途切れと生成時間も測り、用途ごとの採否を判断する。
限界と課題
著者らが報告する制約は、一文につき最大256フレームという生成長である。複雑な入力にはこの上限が影響し、滑らかな表示にはより高いフレームレートが必要だという。また、生成は数秒で終わるものの、リアルタイム用途の要件には届かないと述べる。
編集上の検証事項は、複数文を続けたときの意味、顔や手の細かな動きの読み取りやすさ、利用者にとっての自然さである。撮影条件や表示方法を変えた際の品質も、確認できた本文の範囲では判断できない。
出典
元のタイトル・要旨を確認する（英語）
Text2Sign Diffusion: A Generative Approach for Gloss-Free Sign Language Production
Sign language production (SLP) aims to translate spoken language sentences into a sequence of pose frames in a sign language, bridging the communication gap and promoting digital inclusion for deaf and hard-of-hearing communities. Existing methods typically rely on gloss, a symbolic representation of sign language words or phrases that serves as an intermediate step in SLP. This limits the flexibility and generalization of SLP, as gloss annotations are often unavailable and language-specific. Therefore, we present a novel diffusion-based generative approach - Text2Sign Diffusion (Text2SignDiff) for gloss-free SLP. Specifically, a gloss-free latent diffusion model is proposed to generate sign language sequences from noisy latent sign codes and spoken text jointly, reducing the potential error accumulation through a non-autoregressive iterative denoising process. We also design a cross-modal signing aligner that learns a shared latent space to bridge visual and textual content in sign and spoken languages. This alignment supports the conditioned diffusion-based process, enabling more accurate and contextually relevant sign language generation without gloss. Extensive experiments on the commonly used PHOENIX14T and How2Sign datasets demonstrate the effectiveness of our method, achieving the state-of-the-art performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01