アーカイブ / Audio / Computer Vision
音声と唇の映像を発話認識モデルはどう使うか――Dr. SHAP-AVの寄与分析
Dr. SHAP-AV
Dr. SHAP-AVの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Overview of the three proposed SHAP-based analyses in Dr. SHAP-AV. From the Shapley matrix \bm Φ \bm{\Phi} , which captures the contribution of each input feature (rows) to each generated token (columns), we compute: (Left) Global SHAP , which aggregates contributions across all features and tokens to quantify overall modality balance; (Middle) Generative SHAP , which tracks modality contribution dynamics across token generation stages; and (Right) Temporal Alignment SHAP , which examines the correspondence between input feature positions and output token positions.
概要
- Dr. SHAP-AVは六つの発話認識モデルについて、音声と唇の映像が出力に与える寄与をSHAP値で分析する。
- 著者らは、雑音が強いほど映像の寄与が増える一方、信号対雑音比−10 dBでも音声の寄与が38～46％残ると報告した。
- SHAP値は認識の正しさを示さない。実用時には、入力を除く比較や単語誤り率と合わせて確認する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Dr. SHAP-AVの仕組み
- 01発話音声と唇の映像
- 02入力特徴をゼロに置く
- 03出力単位の寄与を推定
- 04音声・映像の寄与図
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
音声と唇の映像を組み合わせる発話認識は、周囲の雑音で音が聞き取りにくい場面に役立つ。だが、両方を入力しても、モデルが実際にどちらを頼りに文字を出したかは、認識結果だけでは分からない。
雑音のない音声では、映像を除いても認識精度がほぼ変わらないモデルがある。雑音下での利用を考えるなら、誤りの数だけでなく、音声と映像が出力にどう寄与するかも調べる必要がある。
手法
Dr. SHAP-AVは、学習済みモデルが文字起こしを行う際、音声と映像から得た入力特徴を組み合わせを変えてゼロに置き、出力単位の対数確率がどう変わるかを調べる。出力単位とは、モデルが順に生成する文字列の構成要素である。SHAP値は、特徴を加える順番を変えた場合の予測への影響を平均して割り振る値で、著者らは全組み合わせの計算を標本抽出で近似する。
例えば雑音のある発言では、音声の各区間と唇の映像の各区間が、どの出力単位に寄与したかを表にする。その表から、発話全体の音声・映像の寄与率、生成が進む間の寄与率の変化、入力の前半が出力の前半に対応するかを調べる。寄与率には、予測を強めた値と弱めた値の両方について、符号を除いた大きさを使う。
新規性
Dr. SHAP-AVは、入力の寄与を発話全体の音声・映像の比率、文字起こしの生成途中における比率の変化、入力と出力の時間的な対応という三つの観点から調べる。従来のSHAPに基づく分析を、音声と映像を使う発話認識へ広げた。
著者らは、大規模言語モデルを使う方式に加え、入力を処理する部分と出力を生成する部分を分けた方式にも適用した。雑音の強さを変えながら、異なる構造のモデルを同じ枠組みで分析できる。
従来手法との違い
著者らはまず、音声と映像の両方を使う通常条件と、推論時に音声または映像の入力をすべて除く条件を比較した。雑音のない条件では、映像を除いても単語誤り率は通常条件に近い一方、音声を除くと多くのモデルで大きく悪化した。単語誤り率は、正解の単語列との差を測る指標である。
この比較で分かるのは、入力を丸ごと除いた場合の認識精度だ。Dr. SHAP-AVは各入力特徴が出力に与える寄与をさらに調べる。寄与の大きさは文字起こしの正しさを表さないため、精度の結果とは分けて読む必要がある。
実験結果
著者らは、発話映像データセットLRS2とLRS3で、構造の異なる六つのモデルを分析した。LRS3の全体的な寄与の分析では、雑音のない音声から信号対雑音比−10 dBまで条件を変えた。信号対雑音比は、音声と雑音の強さの関係を示す。
著者らは、雑音が強まると映像への寄与が増える一方、−10 dBでも音声の寄与が38～46％残ると報告した。二つのSHAP近似法は、標本数2000の条件で似た傾向を示した。雑音源にはモデル群に応じてNOISEXまたはMUSANの発話雑音を使っている。確認できた本文の範囲では、条件別の単語誤り率の数値は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：会議室の文字起こしシステムについて、雑音が増えたときにモデルが唇の映像を使っているかを点検する。入力は発言者の音声と口元が見える同期映像、出力は文字起こしと発言ごとの音声・映像の寄与記録とする。
会議室のマイクとカメラで収録したデータに、人手で確認した発言文を正解ラベルとして付ける。追加学習をしない点検なら新たな学習用データは不要だが、既存モデルの入力形式に合わせて音声と映像を整える必要がある。雑音別に寄与と誤認識を並べ、映像の寄与が精度に結び付くかを検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の会議室でマイクの音声とカメラの口元映像を同期して集め、人手で確認した発言文を正解ラベルにする。追加学習をしない小規模検証なら新たな学習用データは不要とし、既存モデルに合わせて入力形式と、寄与計算で特徴をゼロに置く位置を調整する。
同じ発言を通常条件、映像を除く条件、音声を除く条件で処理し、単語誤り率を基準として比べる。次に雑音の種類と強さごとにSHAPの寄与率を記録し、誤り率と並べる。映像の寄与が増えた条件で誤り率も下がるかを測り、寄与だけを改善の根拠にしない。
限界と課題
著者らは、使わない入力特徴をゼロに置く方法では、入力が存在しない場合を完全には再現できないと述べている。また、SHAP値が示すのはモデルの予測への寄与であり、その予測が正解かどうかではない。寄与が大きい入力を有用と判断するには、認識精度も確かめる必要がある。
編集上の検証事項は、別の雑音や撮影条件でも傾向が保たれるか、ゼロへの置き換え方が寄与率を左右するかである。確認できた本文の範囲では、図に示された条件別の詳しい数値や処理時間は追えず、導入時の計算負荷も判断できない。
出典
元のタイトル・要旨を確認する（英語）
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
Audio-Visual Speech Recognition (AVSR) leverages both acoustic and visual information for robust recognition under noise. However, how models balance these modalities remains unclear. We present Dr. SHAP-AV, a framework using Shapley values to analyze modality contributions in AVSR. Through experiments on six models across two benchmarks and varying SNR levels, we introduce three analyses: Global SHAP for overall modality balance, Generative SHAP for contribution dynamics during decoding, and Temporal Alignment SHAP for input-output correspondence. Our findings reveal that models shift toward visual reliance under noise yet maintain high audio contributions even under severe degradation. Modality balance evolves during generation, temporal alignment holds under noise, and SNR is the dominant factor driving modality weighting. These findings expose a persistent audio bias, motivating ad-hoc modality-weighting mechanisms and Shapley-based attribution as a standard AVSR diagnostic.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01