新着研究 / Computer Vision / VLM
手話を話し終える前に別の手話へ訳す：待機幅と表示時間を測る同時翻訳
Simultaneous Sign-to-Sign Translation
Simultaneous Sign-to-Sign Translationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Simultaneous sign → sign \text{sign}\!\to\!\text{sign} translation pipeline, shown for CSL → \to DGS (the same architecture serves all six sign → sign \text{sign}\!\to\!\text{sign} directions). The source video is incrementally fed to SMPL-X and tokenized by a VQ-VAE encoder into the source sign-token stream (purple, per-token duration l l ); wait- k k decoding (§ 3.1 ) emits target sign tokens (cyan, per-token duration l l ) after a k k -token lag, and a VQ-VAE decoder maps them back to SMPL-X for rendering as the target ( DGS ) avatar. We use l = 160 l{=}160 ms in this work (4 frames at 25 fps). The vertical dashed line marks the end of source tokens at which target signing has already begun — but under offline sign → sign \text{sign}\!\to\!\text{sign} no target frame would be emitted before this point.
概要
- 入力手話が続いている間に、別の手話の動作をアバターで順次出す直接翻訳を提案した。
- 六方向の評価で、全文章方式よりca-Stream-ALが平均38％短く、位置誤差の増加は9％以内だったと著者らは報告する。
- 語順が異なる否定表現では誤った出力順が観察され、対話での理解度を別途確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Simultaneous Sign-to-Sign Translationの仕組み
- 01入力手話映像
- 02姿勢と記号に変換
- 03一定量を待って翻訳
- 04手話アバター表示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
異なる手話を使う人同士が映像越しに会話するには、相手が手話を続けている間に訳先の手話を提示する必要がある。従来の直接的な手話間翻訳は、入力映像を最後まで受け取ってから出力を始めるため、放送通訳や双方向の通話では待ち時間が問題になる。
手話は単語を表示するだけでは済まず、身体と手の動きを時間をかけて見せる。入力の到着、モデルの計算、生成した動作の再生を一緒に扱わなければ、利用者が感じる遅れを捉えにくい。
手法
入力映像から身体と手の姿勢を推定し、その動きを短い手話トークンに変える。トークンは動作を表す内部の記号で、本研究では一つが約160ミリ秒に当たる。wait-kは最初にk個の入力トークンを待ち、その後は入力が一つ増えるごとに訳先のトークンを一つ生成する規則だ。たとえば中国手話からドイツ手話への翻訳では、入力途中からドイツ手話の動作をアバターに表示する。
著者らは、全文章モデルにこの規則を推論時だけ適用する方法と、部分入力からの予測を学習させる方法を用意した。後者では異なる位置の部分入力を抜き出して学習する。出力記号は身体姿勢に戻され、アバターの動作として描画される。
新規性
著者らが新規性として挙げるのは、直接的な手話間翻訳を入力途中から出力する仕組みと、再学習なし・部分入力による学習ありの二方式を比較した点だ。さらに、手話は表示にも時間がかかることを踏まえ、計算とアバター描画を含めた遅延指標ca-Stream-ALを提案した。
単に最初の動作を早く出すだけでは、後続の手話が滞る可能性がある。この指標は、入力の進行に対して出力がどれだけ遅れたかを、表示に要する時間も含めて捉える。
従来手法との違い
比較対象は、入力手話の全体を読み終えてから翻訳を始める全文章モデルである。既存の直接翻訳もこの方式で、会話中に訳し始められない。提案法は同じ基盤を使い、最初の一定量を待った後、入力の追加に合わせて出力を進める。
著者らは、全文章モデルに推論時だけwait-kを適用する方式と、部分入力を使って学習した方式も比較した。後者は、翻訳時に情報がまだ届いていない状況を学習中に経験する。入力と出力で語順が異なる場合には、早期出力が誤った並びを生むという代償がある。
実験結果
著者らは米国・中国・ドイツの手話間の六方向を、人手確認を含む小規模なStrict集合と、大きな合成BT集合で評価した。比較指標は計算と表示を含む遅延ca-Stream-AL、動作の位置誤差DTW-PA-MPJPE、逆翻訳のBLEU-4である。全文章方式に対し、平均で遅延が38％減り、位置誤差の増加は9％以内、BLEU-4の低下は2.1点だったと報告する。
中国手話からドイツ手話へのBT評価では、学習ありのwait-kでk=7のとき遅延1.34秒、全文章方式は4.32秒だった。著者らの語順分析では、内容語の順が合う例では適切に出力した一方、否定語の順が異なる例では入力側の並びを引きずった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：異なる手話を使う参加者の二者間ビデオ通話で、相手の手話映像を入力し、訳先の手話をアバターで順次表示する。会話の冒頭から短い区間ごとに結果を見せ、発話の終了を待つ時間を減らせるかを調べる。
運用画面には元映像と生成手話を並べ、訳が確定していない区間を利用者が見分けられるようにする。特に否定や文末の動詞を含む発話を集め、出力順が意味理解に及ぼす影響を当事者の評価で確かめる。これは研究結果から考えた用途であり、通話での有効性を示す実験結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象とする手話の組み合わせを一つ選び、短い会話映像について、全体を受け取ってから訳す方式とwait-k方式を同じ入力で比べる。入力開始から最初の出力までと、出力全体の遅延を記録し、途中で表示が止まる回数も数える。
評価用の発話には、否定、話題の先出し、文末に重要語が来る例を含める。生成動作の位置誤差に加え、手話利用者に意味の通り方と誤解の有無を確認する。遅延短縮が見えても、重要な意味の取り違えが増える設定は採用しない。
限界と課題
著者らが示した制約の一つは語順である。中国手話からドイツ手話への事例では、否定語を早く出したため、参照手話と異なる語順になった。またca-Stream-ALは映像から身体姿勢を推定する前処理を含まず、その処理が入力速度に追いつかない場合、報告値は実際の全体遅延の下限となる。
編集上の確認点は、生成手話を当事者が自然に理解できるか、対話で誤訳を訂正できるか、長い会話でも遅延が蓄積しないかである。姿勢の近さや逆翻訳の点数だけで会話の成立は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Simultaneous Translation between Sign Languages
Deaf and hard-of-hearing (DHH) signers cannot converse in real time across different sign languages today: existing sign-to-sign translation systems run offline, requiring the full source clip before any target sign is emitted. Live use cases - e.g. broadcast interpretation and two-way video calls - instead demand simultaneous output, while the source signer is still signing. We present, to our knowledge, the first simultaneous sign-to-sign (S2S) translation system, with two wait-k regimes: test-time wait-k inference applied directly to a full-sentence model, and a trained wait-k model via stochastic multi-path supervision. We further introduce ca-Stream-AL, a computation-aware latency metric for streaming output. Averaged across six S2S directions on both a smaller human-verified test set and a larger synthetic S2S corpus, our streaming system achieves a 38% ca-Stream-AL reduction while staying within a 9% DTW-PA-MPJPE increase and a 2.1 BLEU-4 drop compared to the full-sentence baseline. A word-order case study probes how the streaming model handles word order mismatch between different sign languages - a consequence of simultaneous translation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29