アーカイブ / Audio / Computer Vision
単語の手話動画から音声を作るIsoSignVid2Aud
IsoSignVid2Aud
IsoSignVid2Audの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Proposed Architecture of IsoSignVid2Aud (Video frames are a part of ASL-Citizen dataset [ 6 ] )
概要
- 単語の手話動画から、推論時に文字列を経由せず音声を生成する。
- 著者らの単語予測の最上位正解率はASL-Citizen-1500で72.01％、WLASL-100で78.67％だった。
- 対象は単語とその連なりであり、文法を含む連続手話の翻訳性能を示す結果ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、IsoSignVid2Audの仕組み
- 01単語の手話動画
- 02動きの特徴抽出
- 03重複区間を選別
- 04音の周波数図
- 05発話音声
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
IsoSignVid2Audは、単語の手話を撮影した動画から発話音声を作る。手話を知らない人へ単語を伝える場面では、認識結果を文字にしてから音声化する仕組みが考えられるが、段階ごとの誤りや処理時間が課題になる。
本研究が扱うのは、独立した手話単語、または文法に沿った文章ではない単語の連なりである。用途を考える際には、この入力範囲を先に確認する必要がある。
手法
動画を短い時間窓に分け、I3Dという動画用の認識モデルで手や身体の動きを表す特徴と予測の確信度を得る。続いて非最大抑制で、重なった時間窓のうち確信度の高い候補を残す。非最大抑制とは、同じ動きを何度も検出した結果から代表を選ぶ処理である。
選ばれた特徴を音の周波数図に変え、逆短時間フーリエ変換で再生可能な波形へ戻す。周波数図は、時間ごとにどの高さの音が含まれるかを表すものだ。例えば一語の手話動画を入力すると、その単語に対応する音声を出力する。学習時には単語ラベルから作った音声の周波数図を教師データに使う。
新規性
著者らは、単語単位の手話動画から、中間の文字列を出力せずに音声を生成する構成を提案した。動画の特徴を音の周波数表現へ変換し、そこから波形を復元するため、推論時の出力経路に文字起こしを置かない。
連続して示された単語の手話に対しては、時間窓ごとの予測から重複を除く処理を加える。著者らはこれを、単語の動きを切り出すための時間方向の非最大抑制として説明する。
従来手法との違い
従来の処理例は、手話を認識し、文字列に変え、必要なら音声へ変換する段階的な構成である。IsoSignVid2Audは推論時の文字列を経由せず、動画の特徴から音声の周波数表現を作る。著者らは段階間の誤りの伝播や遅延を避ける狙いを述べる。
ただし、確認できた本文の範囲では、同じ条件で動かした文字経由方式との遅延や音質の数値比較は確認できない。対象は文法を備えた連続手話の翻訳ではなく、単語の手話を続けて示す入力である。
実験結果
著者らはアメリカ手話のASL-Citizen-1500とWLASL-100で評価し、最上位の単語予測が正解した割合をそれぞれ72.01％、78.67％と報告する。音声指標はPESQが2.67、STOIが0.73で、前者は音質、後者は聞き取りやすさの指標として使っている。
本文で確認できる条件では、両データセットの各動画は一人が一つの手話を示す。連続入力用の区間選別も提案されるが、これらの数値だけで、文法を含む連続手話や実際の会話での性能を判断することはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：手話の単語を練習する学習画面で、撮影した動きに対応する音声を再生する。入力は学習者が一語ずつ示す短い動画、出力は認識された単語に対応する音声と、検出した動画内の区間とする。
学習者は音声を聞き、想定した単語と合っているかを確かめる。連続して示す場合は、重複した区間の予測をまとめてから順に再生する。誤認識時には動画区間を見直せるようにし、文章全体を訳せる機能として扱わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使う場面で必要な少数の手話単語を決め、手話者を分けて動画と正解単語を用意する。同じ単語集合で、動画から単語を認識して音声化する文字経由の基準方式と、IsoSignVid2Audを比較する。
単語の正解率、音声を聞いた人の理解率、入力から再生までの時間を測る。単語を続けて示した動画では、区間の重複や取りこぼしも数える。誤った音声が出た動画を確認し、実際の利用範囲を単語単位で判断する。
限界と課題
著者らの対象設定は、文法を備えた連続手話ではなく、単語の手話やその連なりである。したがって、文章の意味や文法を含む会話を扱えるという結果ではない。また、音声生成用の教師データは、データセットの単語ラベルから別の音声合成モデルで作っている。
編集上は、初めて見る手話者や撮影条件での認識、連続入力時の区切り、音声を聞いた人が意図した単語を理解できるかを確認したい。音質指標と単語認識率だけでは、実際の対話での使いやすさは決まらない。
出典
元のタイトル・要旨を確認する（英語）
IsoSignVid2Aud: Sign Language Video to Audio Conversion without Text Intermediaries
Sign language to spoken language audio translation is important to connect the hearing- and speech-challenged humans with others. We consider sign language videos with isolated sign sequences rather than continuous grammatical signing. Such videos are useful in educational applications and sign prompt interfaces. Towards this, we propose IsoSignVid2Aud, a novel end-to-end framework that translates sign language videos with a sequence of possibly non-grammatic continuous signs to speech without requiring intermediate text representation, providing immediate communication benefits while avoiding the latency and cascading errors inherent in multi-stage translation systems. Our approach combines an I3D-based feature extraction module with a specialized feature transformation network and an audio generation pipeline, utilizing a novel Non-Maximal Suppression (NMS) algorithm for the temporal detection of signs in non-grammatic continuous sequences. Experimental results demonstrate competitive performance on ASL-Citizen-1500 and WLASL-100 datasets with Top-1 accuracies of 72.01\% and 78.67\%, respectively, and audio quality metrics (PESQ: 2.67, STOI: 0.73) indicating intelligible speech output. Code is available at: https://github.com/BheeshmSharma/IsoSignVid2Aud_AIMLsystems-2025.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29